Теги:
Джон Мюллер, представитель Google по качеству поиска, рассказал, как ранжируются страницы, заблокированные robots.txt.
Один из вебмастеров поинтересовался, как Google определяет соответствие запроса содержанию страницы, если страница заблокирована robots.txt. Джон Мюллер ответил, что поисковик не может явно просматривать контент, который закрыт. Google находит способы сравнить заблокированный URL с другими URL. В большинстве случаев поисковик отдает приоритет индексирования страницам сайта, которые не заблокированы для сканирования.Если Google посчитает страницы, заблокированные robots.txt, стоящими внимания, он покажет их в выдаче. Ценность и релевантность страницы Google определит по ссылкам, которые ведут на URL.
Напомним, что ранее Джон Мюллер рассказал, что обновление даты публикации не приносит пользы для SEO.
Источник: Searchenginejournal