Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
1 Апреля в 10:03

Google может индексировать заблокированные страницы, не сканируя их

1 4805

Google может индексировать URL, заблокированные в robots.txt, не сканируя их. Об этом рассказал представитель компании Джон Мюллер у себя в Twitter.

Один из пользователей поинтересовался у Мюллера, почему в поиске отображаются заголовки и описания страниц по сайту, полностью заблокированному в robots.txt. В ответ Мюллер сообщил, что URL могут индексироваться без сканирования, даже если они заблокированы в robots.txt.

Пользователь также поинтересовался, почему отображаются заголовки и ссылки, если URL не сканируются. Мюллер ответил, что заголовки обычно берутся из ссылок, но сниппетов в данном случае быть не должно.

Ситуацию также прокомментировал консультант по поисковому маркетингу Барри Адамс. Он отметил, что robots.txt – это инструмент для управления сканированием, а не индексированием. Для предотвращения индексации нужно использовать соответствующую директиву в robots или HTTP-заголовки X-Robots-Tag. Однако чтобы Googlebot увидел данные директивы, ему нужно позволить сканировать страницы.

Напомним, на днях Google обновил свой инструмент для проверки оптимизации сайтов для мобильных устройств.

Источник: Search Engine Journal

(Голосов: 1, Рейтинг: 5)
1 комментарий
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
  • Илья Черепинец
    10
    комментариев
    LANG_NO
    читателей
    Илья Черепинец
    3 недели назад
    Так давно уже так. Если на сайте с хорошей ссылочной массой закрыть от индексации страницу через мета + роботс, google формирует сниппет с анкоров внешних ссылок.
    -
    0
    +
    Ответить

Отправьте отзыв!