« Робот-зеркальщик Яндекса | На главную

Размер robots.txt

Максимальный размер robots.txt , который может прочитать робот Яндекса - 32Kb. Сведения - из письма Платона Щукина.

Автор: Константин Рощупкин on April 12, 2007 11:28 AM |

Комментарии

а пример письма можно в студию )

Автор: bonzaza | April 24, 2007 02:37 AM

Интересно, а как он поведет себя, если роботс больше? Проигнорирует оставшуюся часть или вообще не станет кушать? Ибо большие роботсы в природе встречаются. Вот тут например: http://www.webmasterworld.com/robots.txt :) Или еще любят закрывать доступ туче сомнительных юзер-агентов, из разряда мейл-грабберов.

Автор: Дубровский | May 16, 2007 02:03 PM

Есть что добавить?

Если ранее вы не оставляли комментариев в этом блоге, ваша запись будет опубликована только после её проверки администратором. Не волнуйтесь, все интересные сообщения мы публикуем. :)