5 Июня 2008 в 04:31

Robots.txt – один для всех

4 1489

Накануне Google, Yahoo! и Microsoft совместно детализировали, каким образом каждый из них поддерживает файл robots.txt и соответствующие мета-теги. Отметим, что это не реализация нового стандарта (как это было с протоколом sitemaps), это прояснение стандартного способа блокирования доступа роботов поисковых систем к веб-сайтам. Большая тройка официально представила основной набор robots.txt и мета-тегов директив, которые поддерживает каждая из них.

Robots.txt – один для всех

Поддерживаемые директивы robots.txt:
Disallow
Allow
use of wildcards
Sitemap location

Поддерживаемые мета-теги robots.txt:
noindex
nofollow
noarchive
nosnippet
noodpt

Напомним, ранее Google и Yahoo! уже сообщали о принятии общего стандарта файла robots.txt, Microsoft тогда поддерживал не все, но большинство директив. 3 июня этого года все три поисковика заявили об унификации своей работы со стандартом REP (Robots Exclusion Protocol). В тот же день на официальных ресурсах вышеперечисленных поисковиков были опубликованы посты с перечнем поддерживаемых директив и мета-тегов robots.txt, а также подробное описание их назначения.

Здесь можно ознакомиться с постами Google, Yahoo! и Microsoft.

4 комментария
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Поделиться 
Поделиться дискуссией:
  • Гость
    больше года назад
    Хм..то есть noindex'а теперь достаточно, чтобы боты гугла не учитывали внешнюю ссылку?
    -
    0
    +
    Ответить
    Поделиться
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад
    Гость, а вы новость читали? Там же про < meta> тэги написано. Они действуют на всю страницу. При чём тут конкретная ссылка и яндексовский тэг <noindex></noindex>?
    -
    0
    +
    Ответить
    Поделиться
  • Гость
    больше года назад
    а яндексу это никак не помешает?
    -
    0
    +
    Ответить
    Поделиться
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад

    Раньше же не мешало :)
    -
    0
    +
    Ответить
    Поделиться

Отправьте отзыв!
X | Закрыть