« Робот-зеркальщик Яндекса | На главную

Размер robots.txt

Максимальный размер robots.txt , который может прочитать робот Яндекса - 32Kb. Сведения - из письма Платона Щукина.

Комментарии

а пример письма можно в студию )

Интересно, а как он поведет себя, если роботс больше? Проигнорирует оставшуюся часть или вообще не станет кушать? Ибо большие роботсы в природе встречаются. Вот тут например: http://www.webmasterworld.com/robots.txt :) Или еще любят закрывать доступ туче сомнительных юзер-агентов, из разряда мейл-грабберов.

Есть что добавить?

Если ранее вы не оставляли комментариев в этом блоге, ваша запись будет опубликована только после её проверки администратором. Не волнуйтесь, все интересные сообщения мы публикуем. :)