27 Сентября 2011 в 16:56

Яндекс меняет правила обработки директивы Allow

0 2830

Через несколько недель Яндекс внедрит новые правила обработки поисковым роботом директивы allow файла robots.txt. Директивы будут сортироваться по длине префикса URL (от меньшего к большему) и применяться последовательно.

Сейчас для корректной обработки эта директива используется с учетом порядка: если для страницы сайта подходит несколько директив, выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:

User-agent: Yandex
Allow: /catalog
Disallow: /
# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'

User-agent: Yandex
Disallow: /
Allow: /catalog
# запрещает скачивать весь сайт

Новые правила в обработке директив Яндексом соответствуют международным принципам. Таким образом, и у российских, и у зарубежных вебмастеров не возникнет трудностей при составлении файла robots.txt для различных поисковых систем.

Такие изменения, очевидно, связаны с выходом Яндекса на зарубежные рынки поиска. На прошлой неделе был запущен портал в Турции. По мнению многих экспертов, это только начало.

0 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:

Отправьте отзыв!
X | Закрыть