Изменения в сканировании локальных страниц Googlebot’ом

В блоге Google для вебмастеров сообщается о небольшом изменении в сканировании страниц, язык которых меняется в зависимости от языка пользователя или региона, в котором он находится. В таких случаях робот Google может не просканировать весь контент страницы, т.к. его IP-адреса по умолчанию относятся к США и, кроме того, он отправляет запросы HTTP без параметра Accept-Language в заголовке.

Чтобы избежать подобной проблемы Google запустил новые конфигурации для сканирования локальных страниц роботом Googlebot :

• Сканирование по географическим регионам. Googlebot использует IP-адреса, находящиеся за пределами США. Также учитываются и адреса в Соединенных Штатах.
• Сканирование с учетом языка. Googlebot выполняет сканирование с параметром Accept-Language в заголовках запросов HTTP.

Конфигурации используются автоматически для страниц, контент которых является локализованным.

Несмотря на нововведение команда Google по-прежнему поддерживает и рекомендует использовать для разных языков отдельные URL с атрибутами rel=alternate hreflang.