MSN выявляет псевдо-боты

Причина интенсивного посещения, которое порой сильно мешает оптимизаторам веб-ресурсов, часто кроется в псевдо-ботах. Служба MSN представила правила по их выявлению. Вот на что стоит обратить внимание в первую очередь:

1. - в запросе на постраничный просмотр, должны быть точно определены функция user-agent и IP-адрес. Все запросы от Live Search в названии user-agent используют слово ‘MSNBot’;

2. - ри наличие MSNBot user-agent (см. п.1), следует проверить IP-адрес (например, 207.46.98.149) для определения зарегистрированное имя бота;

3. - определив имя хоста (livebot-207-46-98-149.search.live.com), надо удостовериться в его принадлежности Live Search. Имя обязательно должно заканчиваться на ‘search.live.com’;

4. - в заключение, проверить правильность имени. Для этого можно использовать Forward DNS для сопоставления IP-адреса с именем хоста.

Напомним, что некоторое время (июль 2006) назад по той же причине (интенсивного посещения сайтов ботами) служба MSN дала имена своим ботам, которые раньше ходили под одним именем “msnbot”. Теперь они называются по-разному. Программа “msnbot-products” работает на сервис MSN Shopping, “msnbot-news” — на MSN News, “msnbot-MM” — на MSN Image Search, “msnbot-Academic” - сервис Academic search, а “msnbot” — это робот обычной поисковой системы.