Яндекс переименует User-Agent роботы

Проявляя чудеса заботы о веб-мастерах, Яндекс собрался переименовать в течение июня 2010 года User-Agent роботы. Новые названия будут приведены к общему виду и станут более информативными, что позволит веб-мастерам легко определять сервис, с которого пришел робот.

Сейчас роботы, представляемые в логах серверов, являют собой систематизированный, но трудно запоминаемый код. Поэтому, если веб-мастер не обладал фотографической памятью, то для индексации программы, которая делает запрос к сайту, ему приходилось штудировать соответствующую страницу Яндекс\.Помощь.

Руководитель отдела технологий поискового продвижения агентства IngateДмитрий Злыгостев прокомментировал это нововведение так: «Кроме того, что в логах теперь можно проще узнать бота, также стало возможным писать разные директивы в robots.txt для разных роботов. Т.е. если у вас на сайте есть галерея, то туда необходимо отправлять бота YandexImages, для видео - YandexVideo и т.д. При этом основной бот, который индексирует контент, содержащий текст, не будет тратить время на обход галереи. Данное нововведение позволит более быстро и полно индексировать сайты».