Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
8 Ноября в 10:47

Google: как заблокировать индексацию файлов Robots.txt и Sitemap

0 3119

Сотрудник Google Джон Мюллер дал совет, как заблокировать файлы robots.txt и sitemap, чтобы не допустить их индексации.

Совет Мюллера был вызван твитом другого специалиста из Google Гэри Илша, который заметил, что файл robots.txt может быть проиндексирован поисковиком, как и любой другой URL. Хотя в robots.txt содержатся специальные указания для сканирования, нет ничего, что могло бы помешать Google его проиндексировать.

...robots.txt с точки зрения индексации — это просто URL, содержание которого может быть проиндексировано. Он может быть канонический или дедуплицированный, как и любой другой URL. Он имеет особое значение для сканирования, но его индексный статус вообще не важен.

В ответ своему коллеге Джон Мюллер написал, что HTTP-заголовок X-Robots-Tag может использоваться для того, чтобы заблокировать индексацию файлов robots.txt и sitemap. Также он заметил:

«Если ваши файлы robots.txt или sitemap ранжируются по обычным запросам (не сайт), это является, как правило, признаком того, что у вас действительно очень плохой сайт и его нужно срочно улучшить».

Так что если специалисты столкнулись с проблемой, когда их файл robots.txt ранжируется в результатах поиска, блокировка с помощью HTTP-заголовка X-Robots-Tag может стать хорошим краткосрочным решением. При этом следует сразу же начать решать более серьезные проблемы с сайтом, которые могут негативно сказаться в долгосрочной перспективе, рекомендует Мюллер.

Напомним, ранее сотрудник Google Мартин Сплитт сообщил, что поисковик не использует поведенческие метрики для ранжирования, в частности, dwelling time и время пребывания на странице.

Источник: Search Engine Journal

(Голосов: 6, Рейтинг: 5)
0 комментариев
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.

Отправьте отзыв!