Яндекс меняет правила обработки директивы Allow

Через несколько недель Яндекс внедрит новые правила обработки поисковым роботом директивы allow файла robots.txt. Директивы будут сортироваться по длине префикса URL (от меньшего к большему) и применяться последовательно.

Сейчас для корректной обработки эта директива используется с учетом порядка: если для страницы сайта подходит несколько директив, выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:

User-agent: Yandex
Allow: /catalog
Disallow: /
# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'

User-agent: Yandex
Disallow: /
Allow: /catalog
# запрещает скачивать весь сайт

Новые правила в обработке директив Яндексом соответствуют международным принципам. Таким образом, и у российских, и у зарубежных вебмастеров не возникнет трудностей при составлении файла robots.txt для различных поисковых систем.

Такие изменения, очевидно, связаны с выходом Яндекса на зарубежные рынки поиска. На прошлой неделе был запущен портал в Турции. По мнению многих экспертов, это только начало.