Есть ли жизнь после отключения Яндекс XML? Рассказываем, как SEO-специалистам работать с 1 октября 2023 года

После 1 октября 2023 года жизнь SEO-специалистов больше не будет прежней. В этот день вступают в силу обновления Яндекса. Главное из них – отключение сервиса Яндекс XML. 

Это база для всех SEOшников. Им пользовались, чтобы мониторить позиции сайтов в выдаче, получать данные о ранжировании ключевых слов, оценивать эффективность SEO-стратегий и корректировать их. 

Теперь Яндекс предлагает новый сервис – Yandex Search API. Он сильно дороже предшественника. Некоторые эксперты уже предсказали повышение цен на услуги сбора данных в несколько раз. 

Мы такие панические настроения не поддерживаем. Разобрались в вопросе и поняли – есть варианты работать и не взвинчивать прайс. Как жить после 1 октября, расскажу в статье. 

Что было: за что мы любили (и иногда ругали) Яндекс XML?

Яндекс XML позволял парсить поисковую выдачу в несколько потоков. Он давал вебмастерам доступ к трем видам поиска: русскому, турецкому и мировому. Сервис любили за высокую скорость и низкие цены. 

Но он, конечно, работал неидеально. Бывали случаи, когда информация Яндекс XML не соответствовала прямой выдаче. Сервис не показывал колдунщики, рекламу над и под выдачей, нулевые позиции и другие элементы. Поэтому оценить ТОП и потенциальный трафик было сложно, так как первая позиция в реальности могла находиться на втором или даже третьем экране и практически не получать переходов. 

При прямом парсинге такой проблемы нет. Данные отображаются именно так, как пользователь видит их в своем браузере: со всей рекламой, колдунщиками, расширенными сниппетами. 

Но этот способ дорогой и хорошо работает при небольших объемах семантики. Ведь парсеры требуют огромных вычислительных ресурсов и специалистов, которые будут постоянно следить за их работоспособностью. 

Через Яндекс XML мы одним запросом получали 1000 результатов выдачи, а при живом парсинге – максимум 10. То есть чтобы получить 1000, потребуется сделать 100 запросов. 

Из-за скорости и низкой стоимости Яндекс XML использовали многие популярные программы. Вот только некоторые: 

• Key Collector – утилита для съема позиций, сбора семантики и других ключевых целей. Стоимость от 1400 ₽. 
• KeyAssort – ПО для работы с семантическим ядром, группировки и кластеризации выдачи. Стоимость от 1990 ₽, но есть демодоступ.
• Zennoposter – профессиональный инструмент автоматизации и парсинга. Позволяет легко определять витальные запросы. Стоимость 3470 ₽.
• Serphunt.ru – сервис, позволяющий в счет переданных ему лимитов бесплатно проверять позиции своего сайта. Стоимость от 500 ₽.
• Другие сервисы, например, Топвизор, Tools PixelPlus, JustMagic. 

Как теперь будут работать все эти инструменты – пока вопрос. Скорее всего, доступы станут дороже, потому что альтернатива, которую предлагает Яндекс, будет дороже XML. 

Что будет: какую замену Яндекс XML приготовили разработчики?

Вместо Яндекс XML разработчики предлагают работать с Yandex Search API. Описание нового сервиса звучит заманчиво:

• не нужно регистрировать свои сайты в Вебмастере;
• можно ставить любые лимиты запросов в PAYG, нет ограничений по объему трафика с сайтов из Вебмастера;
• подключен облачный биллинг и мониторинг;
• гибкая настройка IP из консоли управления; 
• различные уровни технической поддержки.

Но есть одно большое «НО». Стоит это удовольствие очень дорого. Лимиты, в частности, будут доступны, но в рамках Яндекс Облака и почти в 100 раз дороже, чем было. 

Вот прайс от разработчиков. 

1000 бесплатных запросов в месяц доступны всем в ночные часы по часовому поясу UTC+3. За каждую 1000 сверху придется заплатить. 

Еще одна проблема – лимит 30 000 запросов в месяц для новых пользователей, причем в день можно сделать не больше 1000 запросов. Это очень мало для агентств и фрилансеров, у которых несколько клиентов или один большой проект.

Например, у SEO-специалистов KINETICA несколько десятков проектов на продвижении. Каждый день мы снимаем от 10 000 до 100 000 ключей. Теперь это будет стоить ~50 000 ₽. Раньше аналогичный объем обходился в ~500 ₽. Как говорится, почувствуйте разницу!

Чем сердце успокоится: как будем работать после первого октября

Во-первых, Яндекс обещает оптовые скидки крупным закупщикам типа XMLRiver. Конечно, сервисы сделают свою наценку. И парсинг станет чуть дороже. Но не кратно. 

Во-вторых, есть свои наработки и сервисы, а из публичного есть инструменты типа A-Parser, чтобы парсить выдачу массово и напрямую, не используя сервисы Яндекса. 

Кроме того, советую присмотреться к новым инструментам в Метрике и Вебмастере – отчетам и мониторингу запросов. Они дают подробную информацию о позициях сайтов в поисковой выдаче и помогают определить, какие действия можно предпринять для улучшения показателей. 

Расскажу подробнее о новых инструментах. 

Отчет «Средние показатели по рынку». Это новый инструмент, пока доступен только в бета-версии. Он помогает оценить, как сайт выглядит в сравнении с рынком и принимать наиболее эффективные решения по SEO и маркетингу в целом. 

В отчете «Возвращаемость» можно увидеть, сколько пользователей повторно заходят на сайт. В отчете «Вовлеченность» – среднюю длительность пребывания на сайте, глубину просмотров и отказы. Отчет «Динамика трафика» показывает скорость роста посещаемости по сравнению с рынком. 

Инструмент в целом полезный, но есть пара нюансов. Сайты подбираются на основе поведения пользователей, региона, тематики и размера, все данные усредненные. Поэтому добавить конкурентов или исключить какие-то конкретные сайты нельзя. Также нет возможности установить определенный период. Информация обновляется раз в месяц. 

В статистику отчетов попадают только те сайты, которые подключили опцию «Получать доступ к отчетам по рынку». А значит, данные неполные.  

Но есть шанс, что инструмент доработают. По крайней мере, уже сейчас можно отправить через форму обратной связи список конкурентов. Это позволит алгоритму точнее определять похожие сайты. 

Мониторинг запросов в Вебмастере. Этот инструмент помогает решать сразу несколько задач:

• следить за динамикой сайта в поиске; 
• анализировать причины изменения трафика;
• составлять группы запросов для длительного анализа семантики; 
• узнавать, по каким поисковым запросам из сотен тысяч сайт уже отображается в результатах выдачи. Срок хранения данных – 14 дней.

В мониторинге есть стандартные показатели: клики, CTR, показы, позиция, а также новый параметр – спрос. Эта метрика показывает, как часто пользователи Яндекса задают запрос и находят ответ на первой странице выдачи.

Так же как и отчеты, мониторинг пока находится на стадии тестирования. 

Подытожим

Новость об отключении Яндекс XML стала шагом в сторону изменения формата работы и оплаты, который может вызвать рост цен на поисковое продвижение, потому что команды и фрилансеры будут перекладывать издержки на клиента. 

Повторю несколько важных рекомендаций:

• используйте текущие инструменты для мониторинга позиций, чтобы вся история сохранилась, и ищите альтернативы для парсинга конкурентов и парсинга по черновой работе; 
• посмотрите новые инструменты Яндекса в Метрике и Вебмастере – хотя они еще на стадии тестирования, там много полезного для развития стратегии SEO; 
• обсудите с клиентами изменения и предложите альтернативные решения для мониторинга позиций и продвижения сайтов, если для вас это актуально.