Возникают моменты, когда по разным причинам сайт очень плохо или долго индексируется. Причин может быть множество, например, самые популярные:
- Сайт только создали
- Проблемы с сервером
- Происходят блокировки некоторых User-agent
- Некорректно настроено зеркало
- Санкции от поисковых систем
- Некорректно настроенный файл robots.txt
- Некорректно настроенные мета-теги robots
- Некорректно настроенные мета-теги canonical
Не будем останавливаться на каждой из причин. Рассмотрим рабочие механизмы, которые поспособствуют более быстрой индексации/переиндексации страниц сайта в порядке их действенности.
Sitemap.xml
Sitemap.xml – это файл, в котором указываются ссылки на приоритетные страницы сайта. Подробная инструкция по корректному составлению файла тут.
В файле указываются ссылки на все страницы сайта, с учетом приоритетов, с частотой обновления документов и т.п.
Если сайт проиндексирован частично, то мы можем указать ссылки только на те страницы, которые еще не добавлены в индексную базу поисковых систем.
Как проверить индексацию страниц сайта?
Проверить находится ли страница в индексной базе поисковой системы Яндекс можно с помощью оператора url. Например:
В поисковой системе Google с помощью оператора info:
Как автоматизировать данный процесс?
Чтобы не пробивать индексацию тысячи страниц вручную, мы можем задействовать программу Key Collector, который так любим большинством SEO-специалистов. Вот сама схема:
1. Собираем список всех страниц сайта любым парсером (например, из бесплатных, Netpeak Spider или из платных, Comparser, либо любым другим методом)
2. Вначале каждого URL-адреса страницы добавляем оператор url.
Пример:
Сделать это можно, например, в блокноте с помощью автозамены (Ctrl+H) вот таким образом:
3. После этого загружаем весь список страниц с оператором: url в Key Collector:
4. Не забываем про настройку XML для более быстрого парсинга результатов:
5. Запускаем парсинг позиций:
Если документ проиндексирован, то позиция по запросу будет 1.
6. Ждем, когда закончится парсинг:
7. Получаем результаты
При проверке на индексацию страниц в поисковой системе Google, оператор url заменяется на аналогичный info.
Add URL / Просканировать страницу в Google
Еще один способ проиндексировать страницу это ее добавление в сервисы поисковых систем Add URL, например:
- https:\/\/www\.google\.com\/webmasters\/tools\/submit-url
- https://webmaster.yandex.ru/addurl.xml
Также можно, добавить сайт в панели вебмастеров:
- http:\/\/webmaster\.yandex\.ru\/
- https:\/\/www\.google\.com\/webmasters\/tools\/
- http:\/\/webmaster\.mail\.ru\/
и увидеть большое количество новой интересной информации по своему сайту.
Внешние ссылки
Рассмотрим еще один метод для быстрой индексации или переиндексации документов – это обычные ссылки с других ресурсов.
Бывает много видов ссылок, в основном SEO-специалисты проставляют их с одной целью, только для того, чтобы расширить анкор-лист страниц. Для нашей цели (скорейшей индексации страницы) хорошо сработают ссылки с социальных сетей, ссылки с новостных ресурсов (где живут быстророботы), а также с форумов (или любых других ссылок, с которых будут переходы пользователей). Переходы пользователей играют большую роль, сейчас ни для кого не секрет, что большинство браузеров «сообщают» о новых страницах поисковым системам.
Для быстрой простановки ссылок можно использовать любую биржу заданий или ссылок. Например, SAPE.
Дополнительные модули или плагины
Иногда традиционные способы загона страниц в индекс не действуют, или не устраивают их сроки действия. В этом случае, могут пригодится нестандартные методы, например, модуль, который мы реализовали в компании «Реаспект».
Модуль называется «Перелинкатор» и вырос из идеи обычной сквозной ссылки в подвале сайта. Со временем, влияние сквозных ссылок уменьшилось, и мы начали проставлять с каждой страницы 2-3 ссылки на другие документы сайта. Затем уникализировались анкоры ссылок. Начали считать распределение весов по алгоритму PageRank и в итоге пришли к следующему механизму.
С каждой проиндексированной страницы в определенном блоке (может находится в любом месте сайта) проставляются 2-3 ссылки (по ситуации) на непроиндексированные документы. Это значительно ускорит их попадание в индекс, к тому же позволит расширить анкор-листы документов.
Вот результаты внедрения модуля на одном из проектов (крупный интернет-магазин):
Результаты модуля на другом проекте:
Индексацию страниц можно также проверять автоматически через XML лимиты Яндекса. Перелинкатор можно также использовать и для других целей:
- Для распределения весов внутри сайта;
- Для расширения анкор-листа документов;
Также возможно вам пригодится информация по другому модулю, который технически более сложен.
Выводы
Методы ускорения индексации страниц, представленные в этой статье, отранжированы по эффективности в соответствие с моим опытом. Внедрение модуля «Перелинкатор», на мой взгляд, самый эффективный способ.Но вы всегда можете внедрить все способы сразу. Тогда не придется гадать, какой же метод сработал быстрее.
Теги:
