Теги:
Интересуетесь, как поисковая система обрабатывает robots.txt-файлы? Google предлагает всем своим пользователям возможность проверить это с помощью программы Google Sitemaps . На страницах официального блога Inside Google Sitemaps можно найти подробный анализ и статистику robots.txt-файлов.
В дополнение нового robots.txt-контролера, поисковый гигант представил программу, составляющую статистику самых популярных слов, встречающихся на web-сайтах и в ссылочных текстах. Подобная статистика слов является хорошим примером того, что Google исправно выделяет тематику сайта согласно выделенным словесным разделам.
Что касается ссылочного текста, здесь Google утверждает, каждая страница оценивается по количеству ссылок, указывающих на нее. Например, ссылки на удаленную страницу сайта или на домашнюю «помогают» лишь самим страницам, но не всему сайту в целом.
В то время, как для конкурирующей Yahoo!, наоборот, подобные ссылки «помогают» всему сайту.
По информации feeds.searchenginewatch.com