На прошедшей онлайн-конференции Optimization 2021 Сергей Кокшаров (SEO-аналитик, автор @devakatalk) поделился результатами исследования работы нового инструмента Яндекса – IndexNow.
IndexNow – это небольшой API, запущенный в конце октября этого года. Он позволяет за один запрос отправлять от 1 до 10 тыс. страниц на «индексацию» в Яндекс. Подробнее можно посмотреть на сайте IndexNow.org.
Что обещают поисковики:
- Яндекс попытается посмотреть URL для быстрого получения изменений.
- Можно уведомлять об удалении страниц (404).
- Сокращает период на обнаружение нового контента.
Гарантии:
- Нет гарантий, что страницы сразу пересканируются.
- Нет гарантий, что страницы попадут в поиск.
- Нет гарантий, что они обновятся в поиске.
- Нет никаких гарантий.
Далее Сергей рассказал, как проводил исследование:
- Отправлял запросы для разных страниц.
- Анализировал серверные логи.
- Анализировал выдачу Яндекса.
- Сравнил IndexNow с работой инструмента «Переобход страниц» в Яндекс.Вебмастере.
Переиндексация старых страниц
Сергей отправил на переиндексацию через IndexNow 35 старых страниц. Через минуту в логах видно, что поисковик проверил ключ. И далее, в следующие 7 часов в логах ничего больше не произошло.
Затем те же самые страницы были отправлены на «Переобход» через Яндексе.Вебмастер. В ту же минуту Яндекс переобошел все эти страницы.
Сканирование новых страниц
В отличие от предыдущего случая с переиндексацией, сканирование 887 новых страниц через IndexNow началось практически сразу же. За 10 минут Яндексбот просканировал 834 страницы и на этом остановился.
Возможно, считает Сергей, сработал лимит: в FAQ IndexNow говорится «Отправлять повторный запрос не раньше, чем через 10 минут». Сергей предположил, что Яндекс выделяет 10 минут на сканирование, и дальше все зависит от того, сколько за это время вы успеете отдать страниц.
При отправке 100 новых страниц на «Переобход», все 100 были проиндексированы в течение минуты.
В случае со сканированием новых страниц, Сергей засчитал ничью и поставил по одному баллу каждому инструменту.
Предварительный результат:
Индексация страницы
Сергей создал новую страницу, добавил ее через IndexNow. Поисковик ее сразу же просканировал, в индексе ничего не появилось спустя полчаса. Сергей повторил процедуру с этой же страницей, но она так и не появилась в индексе даже спустя 45 минут.
Тогда Сергей отправил страницу на переобход в Вебмастере. Через 13 минут страница зашла в индекс, но с пометкой «57 минут назад», т.е. поисковик занес ее в базу, когда она была отправлена через IndexNow.
Сергей решил перепроверить и создал новую страницу, добавил на переобход, и она была сразу же просканирована. В индексе страница появилась через 24 минуты.
На третий раз Сергей создал страницу и отправлял на переобход каждые 2 минуты. При этому Яндекс просканировал страницу лишь 2 раза. Однако спустя 9 минут (рекорд) страница появилась в индексе.
Таким образом при индексации новых страниц лидирует переобход:
Удаление из индекса
Страница удаляется, возвращается 404 код статуса. Далее Сергей отправил запрос в IndexNow, но страница не была просканирована.
Тогда был отправлен запрос на переобход в Вебмастере и бот сразу пересканировал страницу, а спустя 50 минут страница удалена из индекса.
Результаты
Рекомендации
- Используйте IndexNow для сканирования новых урлов;
- Отдавайте страницы как можно быстрее (лимит - 10 минут);
- IndexNow работает нестабильно;
- При достаточном количестве лимитов используйте Переобход;
- Конструкция 301– 200 или 301– 404 превращает минусы IndexNow в плюсы.
Читайте также:
Теги:
