Поисковые роботы Google начнут обращать внимание на CSS и JavaScript файлы, а также на изображения на странице. Соответствующие изменения Google внес в Руководство для вебмастеров. Для того чтобы индексация веб-страниц происходила корректно, роботам Google необходимо открыть в файле robots.txt доступ к перечисленным элементам. В противном случае сайт может потерять позиции в поисковой выдаче.
По словам разработчиков Google, смысл обновления — отказ от прежнего принципа работы систем индексирования, идентичного устаревшим текстовым веб-браузерам наподобие Lynx. Новая технология индексирования заключается в визуализации (рендеринге) распознаваемых страниц. По мнению представителей Google, это больше соответствует такому понятию, как «современный веб-браузер».
Google выделил ряд пунктов, о которых важно не забывать. Первое — движок Google, осуществляющий рендеринг веб-страниц, может не поддерживать некоторые технологии веб-дизайна, с помощью которых написана страница. Поэтому разработчикам сайтов рекомендовано следовать концепции прогрессивного улучшения. Её принципы позволяют системам индексирования лучше распознавать содержимое страниц.
Страницы, которые быстро загружаются, эффективнее индексируются поисковыми роботами. Для успешной индексации представители Google советуют оптимизировать веб-страницы, обращая внимание на следующие параметры:
Поисковик также обновил опцию Fetch as Google — «Просмотреть, как Googlebot». Данный инструмент позволяет вебмастерам посмотреть на сканирование страниц глазами поискового робота.
Напомним, что обновление принципов работы систем индексации разработчики Google анонсировали ещё в мае 2014 года, о чем даже написали соответствующий пост. В нем говорилось, что до нынешнего момента внимание обращалось только на «сырое текстовое содержание» страницы, а JavaScript и CSS игнорировались.