Google рассказал, что лучше – disallow или noindex

Специалист отдела качества поиска Google Джон Мюллер предупреждает, что страницы, заблокированные через disallow в robots.txt, все еще могут индексироваться, если в сети есть на них ссылки.

Это может стать проблемой для вебмастеров: бот увидит страницу, не сможет ее просканировать и автоматически посчитает, что на ней нет контента. Мюллер отмечает, что лучший способ закрыть страницы от индексирования и сканирования – использовать мета-тег noindex.

Полный ответ специалиста можно посмотреть с отметки 24:36 (eng):

Напомним, на днях Google Поиск начал тестировать кнопку «Показать последние результаты».

Источник: Search Engine Journal