Такое довольно редко случается, но бывает, что разработчик по какой-то причине не может разместить файл robots.txt в корневой папке. Тогда на выручку придет редирект с адреса /robots.txt на файл в любой другой папке. Гуглоид Джон Мюллер подтверждает. И старайтесь, чтоб редирект был прямой, без цепочек. Хоть Google и утверждает, что выполняет не менее пяти переходов в цепочке переадресаций, но береженого бог бережет.