Не могу удалить robots.txt

[skurudo]

ctrl + f5 - кэш браузера, скорее всего дело в нем

Серверный кэш - если вы или ваш скрипт его вообще используется. Думаю, логичнее у разработчиков узнать.

[sawer]

У меня подобная проблема возникла при переезде на новую бунту.
У меня несколько доменов ссылаются на одну локальную папку (Зеркала)
Дак вот, по какой то причине роботсы подтягивались из стандартных папок которые добавляются при создании нового сайта в панели.
Решения 2
-Либо убить это файл по стандартному местоположению
-Либо добавить в него необходимую вам информацию.

Есть третий вариант -искать где это файл прописан в конфигах весты апача нгикса и тд но он муторный.