Представитель поисковой системы Google Джон Мюллер на своей страничке в социальной сети Google+ напомнил владельцам сайтов, что для файлов robots.txt существуют ограничения по объёму в пятьсот килобайт.

В комментариях к посту было отмечено, что даже у самой поисковой системы данный файл занимает только 6,43 килобайта дискового пространства, поэтому документ в 500кб — это фантастика. Но представитель Google отметил, что это бывает часто, например, если движок сайта сам устанавливает файл robots.txt.

Если у вас файл robots более 500кб, то в любом случае робот ПС сможет прочесть только первые 500 килобайт. Также большие файлы могут привести к проблемам с индексацией, и тогда сайт может утратить позиции в выдаче.