10-11 ноября 2022 года в Москве состоялась конференция Optimization-2022. В рамках секции, посвященной техническим факторам ранжирования, Захар Федоренко (Rush Agency) рассказал, как решить проблемы индексации в Google на любых сайтах: от 1 до десятков миллионов страниц.
Основные проблемы, связанные с индексацией:
1. Страницы не попадают в индекс, либо этот процесс занимает очень много времени. А если страницы нет в индексе, то она не приносит органический трафик.
2. Крупный сайт, но низкий краулинговый бюджет. Лимит может не позволить роботу проиндексировать нужные страницы.
3. Робот долго узнает об изменениях на проиндексированной когда-то странице. По словам Захара, этот процесс можно ускорить, чтобы роботы в течение четырех дней узнали об изменениях и ранжировали сайт лучше.
Какие ниши страдают больше всего:
- онлайн-магазины,
- информационные сайты,
- сайты услуг,
- лендинги. Google скептически относится к сайтам, у которых мало страниц, поэтому плохо их индексирует.
3 причины, почему Google не индексирует ваш сайт
Первая причина. Плохая техническая оптимизация сайта.
- ненастроенный robots.txt,
- ненастроенный Sitemap,
- дубли страниц,
- не все страницы, которые потенциально могут приносить SEO-трафик, отдают код ответа 200,
- битые ссылки,
- отсутствие внутренней перелинковки
- слабая скорость загрузки сайта.
Что касается скорости загрузки сайта, то здесь важно правильно поставить техническое задание программисту (ТЗ).
Как выглядит неправильное ТЗ на улучшение скорости загрузки сайта: сделать скриншоты из PageSpeed и написать программисту, что нужно стремиться к 90.
Как выглядит правильное ТЗ:
- Подключить API PageSpeed в софт для сканирования Screaming Frog.
- Взять несколько основных конкурентов и свой сайт, выделить среди них важные типы страниц (их всего три: главная, страница категорий и карточки товаров, 10 страниц вполне достаточно).
- Прогнать эти страницы по PageSpeed и внести данные в таблицу Excel, вывести среднее значение. К этому показателю и нужно стремиться.
Вторая причина. Алгоритмы поисковых систем
Не всегда алгоритм поисковых систем работает так, как задумано. Бывает, что сайт действительно хороший, полезный, но по какой-то причине алгоритм счел его неполезным.
Третья причина. Низкое качество страниц
Захар рекомендует проводить аудит содержания страниц. Для этого нужно открыть ТОП поисковой выдачи в Google или Яндексе и детально просмотреть каждую страницу, абсолютно все блоки, которые есть у вас и у конкурентов. Далее выявить, какие блоки могут реально очень сильно влиять на ранжирование. Например, какой-нибудь онлайн-калькулятор.
Что дает индексация сайта
Как диагностировать свой сайт
Как понять, есть ли у вас проблемы и насколько они серьезные. Сделать это можно разными инструментами, Захар привел пример нескольких из них.
1. Бесплатный инструмент Google Search Console. В настройках в разделе Индекс – Страницы можно посмотреть страницы, которые просканированы, но пока не проиндексированы.
Google Search Console обновляется раз в 4 дня. Если вы не хотите ждать, то можно воспользоваться сторонними инструментами. Один из них – это Rush Analytics.
2. Rush Analytics – инструмент проверки индексации. Позволяет легко проверять, загонять нужные страницы, смотреть динамику, графики, выгружать их в виде Excel и т.д.
3. Помимо них так же можно использовать другие инструменты, чаще всего: Screaming Frog с дополнительным подключением API, A-Parser, Site Analyzer (это аналог Screaming Frog) либо Key Collector.
Когда вы определили, что на сайте есть проблема с индексацией, и она довольно серьезная, Захар предлагает способ ее решения.
Как решить проблему с индексацией
Проверьте, корректно ли Google отображает сайт
Бывает, что Google некорректно видит ваш сайт. Это может быть связано с использованием JavaScript, либо проблемами в robots.txt и т.д. В Google Search Console можно ввести URL интересующей страницы и посмотреть, как Google ее видит.
Проработайте контент на неиндексируемых страницах
Если страницы не в индексе, то первое, на что стоит обратить внимание – это контент. Сделайте аудит содержания, возможно, действительно он хуже, чем у конкурентов.
Проработайте структуру сайта и его внутреннюю перелинковку
Важно настроить внутреннюю перелинковку, т.к. чем она лучше, тем больше вероятность, что страница попадет в индекс. Карта сайта может быть XML, HTML или TXT.
Проверьте корректность файла robots.txt
Помимо проверки, индексируется ли страница и не закрыты ли какие-либо категории, нужно посмотреть, не запрещены ли какие-либо изображения, скрипты и прочее.
Проверьте наличие и корректность sitemap.xml и его доступность в GSC
Sitemap надо добавлять в Google Search Console. Бывает, что при добавлении сайта GSC показывает, что в нем нет урлов. Причины и решения: 1) низкая скорость загрузки страницы. В этом случае нужно сделать Sitemap статическим, обновлять его не при каждом запросе, а раз в какое-то время, в зависимости от того, насколько крупный сайт, насколько часто в него вносятся изменения. 2) Также рекомендуется добавить в robots.txt ссылку на Sitemap.
Отправьте адреса нужных страниц через Google Indexing API
С помощью этого инструмента, по словам спикера, ему удалось проиндексировать за 10 дней более 2,5 млн страниц.
Читы на индексацию – это Google Indexing API
Ответы на эти вопросы, а также подробный гайд и скрипты для автоматизации Захар разместил в инструкции. Ее можно скачать по коду, представленному ниже.
Читайте также:
Optimization 2022: тренды в SEO
Optimization 2022: как продвигать сайты в Юго-Восточной Азии
Optimization 2022: Data Driven SEO для роста продаж в eCommerce
Теги:
