29 Января 2009 в 14:22

Новая директива для robots.txt от Яндекса

0 1972
С помощью новой директивы Clean-param от Яндекса, вы сможете показать роботу поисковой системы, какие страницы сайта с динамические параметрами, не влияющими на их содержимое, не следует индексировать. К таким динамическим параметрам относятся идентификаторы сессий, пользователей, или рефереров.

Если на вашем сайте, например, используется параметр 'ref=', чтобы отследить, с какого источника на страницу переходят пользователи, то урлы выглядят так:

www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123

При переходе пользователя по каждой из этих ссылок отображается одна и та же страница с одинаковым содержимым. Параметр «ref=site_1» просто отслеживает, откуда поступает запрос. Применив директиву Clean-param, Яндекс сведет эти страницы и получит сигнал, что ему не нужно индексировать их вновь и вновь. Таким образом, сократится время, которое робот тратит на обхождение этих страниц, а эффективность индексации остальных страниц значительно повысится.

Несколько опрошенных оптимизаторов сошлись во мнении, что новая директива Clean-param будет полезной для многих сайтов. У вебмастеров появится возможность почистить форумы и значительно уменьшить количество страниц, индексируемых роботом поисковой системы.

0 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:

Отправьте отзыв!
X | Закрыть