x-Robot-Tag предоставляют веб-мастерам больше контроля над индексированием контента сайта. Если раньше прописать запрещающие теги можно было только в META директиве, теперь система позволяет запретить индексирование директивой x-Robot-Tag в заголовке html-документа. Прежде всего, поддержка теперь распространяется на тэги noindex, nofollow , noarchive, nosnippet.
• X-Robots-Tag: NOINDEX –не показывать URL сайта в результатах Yahoo! Search.
• X-Robots-Tag: NOARCHIVE – запрещает кэширование страницы в результатах поиска.
• X-Robots-Tag: NOSNIPPET – не показывать сниппет в результатах поиска.
• X-Robots-Tag: NOFOLLOW – запрещает Yahoo! боту обходить ссылки страницы.
Подобная защита станет полезна владельцам ресурсов с закрытым, защищенным платным контентом. «Любые изменения, которые направлены на улучшение индексации сайта и работы роботов с сайтам - несомненно, нужны владельцам ресурсов. А Yahoo!, как видим, вводит эти возможности», - подтверждает Вадим Миклуха, SEO-специалист.
Yahoo! идет по стопам Google. Напомним, Google объявлял о подобных изменениях в протоколе исключения роботов еще в июле этого года. Тогда поисковик внес изменения в стандарте REP (Robots Exclusion Protocol), протоколе исключения роботов, используемый файлами Robots.txt для googlebot. А также представил новые META-теги роботов: unavailable_after и X-Robots-Tag.