BDD 2019: Агрегаторы и маркетплейсы в поиске Яндекса и Google

8–10 августа в Калининграде прошла конференция Baltic Digital Days 2019. В секции, посвященной поисковому продвижению, Александр Ожгибесов представил доклад, посвященный агрегаторам и маркетплейсам в поиске Яндекса и Google. А SEOnews подготовил его обзор и теперь делится с вами.

Перейти к презентации спикера

Свое выступление спикер начал с актуальной проблемы: в поиске есть агрегаторы, и с ними сложно бороться любым коммерческим сайтам. Уже сегодня есть тематики, где SEO не работает. И очень важно понимать, как такие тематики искать. Решению этой проблемы Александр и посвятил свой доклад.

Любой поиск – и Яндекс, и Google – это компания для зарабатывания денег. Но место в поиске ограничено, и компании понимают, что нужно расширять свои возможности не в плане количества мест в выдаче, а в плане содержания и конкуренции.

На данный момент выдача Яндекса по коммерческим ВЧ-запросам выглядит примерно так:

Пользователь видит товарный колдунщик, затем блок с рекламой Директа и только потом органику.

В Google ситуация похожая: справа блок рекламы, слева блок рекламы, снизу блок навигационных карт и уже потом поисковая выдача.

Сколько трафика может получить сайт в такой ситуации? Примерно 0.

Проблема в том, что SEO-шникам нужно показывать клиентам рост позиций. Но по факту даже если получить в такой выдаче десятую позицию, никто все равно не увидит ваш сайт. Конечно, в отчете у клиента все будет круто, но трафика не будет.

Причем ситуация с СЧ- и НЧ-запросами кардинально не отличается. На скриншоте видно, что агрегаторы забирают весь ТОП. Да, есть подчеркнутые зеленым четыре коммерческих сайта, но по факту это ничтожно мало.

Как с этим бороться?

Можно писать в Facebook, что SEO умерло, и уйти в контекст или таргет.
Или можно делать скоринг запросов на предмет агрегаторов, маркетплейсов и сложной коммерции.

Далее речь пойдет о втором варианте. Александр рассказал о своем методе скоринга, реализованном при поддержке сервисов Топвизор, ruCaptcha, Netpeak Checker и keys.so.

Вводная информация

В рамках исследования были рассмотрены 110 тематик по продаже товаров и услуг + ставки и казино.

Еще немного вводных:

Ход работы

Изначально была гипотеза: если каждую неделю снимать данные по всем используемым регионам, то будет заметен процент изменений. Однако при таком подходе выдача практически не менялась. Поэтому период был расширен до трех недель.

И это очень важно с практической точки зрения. Предположим, вы начинаете работу с новым клиентом: если вы снимете данные за неделю-две, то не получите никакой точной картины. И не сможете оценить, будет клиент счастлив по итогу работы с вами или нет. Если у вас в компании этап пресейла небольшой (пришла заявка, и вы ее сразу взяли в работу), есть риск показать плохой результат, потому что в тематике может быть засилье агрегаторов. Но у вас просто не будет времени, чтобы провести исследования и сразу это понять.

Что же делать?

Была идея: если получить все домены, которые есть по 200 тысячам запросов, можно создать инструмент, который будет искать корреляции и делать работу за специалистов.

По факту Александр с командой сделал для каждого из 103 617 доменов следующие типы расшифровки:

Список проверяемых характеристик: количество страниц в индексе Яндекса и Google; наличие в Справочнике; коммерческие маркеры в Title, H1, Description; ссылочное; нахождение сайта в ТОП 500 тысяч по Keys.so; ИКС; Whois и дата первого сканирования; соцсети; телефоны, email.

Оказалось, что корреляции оценок с характеристиками нет.

Представим: у вас коммерческая тематика. Казалось бы, если у вашего сайта 2–3 страницы, то вы коммерческий сайт, а если 100 000 страниц, то вы агрегатор. Но нет. Потому что в России есть, во-первых, тематичные агрегаторы, а во-вторых, есть большие компании (вроде Lamoda или Wildberries), которые стараются работать по всему направлению услуг или товаров. И в этом большая проблема.

Поэтому все расшифровки придется делать вручную. В принципе один человек может расшифровать вручную шесть тысяч доменов за один день, если у него огромная мотивация. А шесть тысяч доменов – это достаточно крупные тематики.

Какие задачи стояли в рамках исследования:

Получить % соотношение состава органики на всей выборке для поисковых систем Яндекс и Google, а также его изменение в период Январь-Август 2019 г.
Получить список тематик для поисковых систем Яндекс и Google, у которых из текущей выборки максимальный % агрегаторов и сложной коммерции и наоборот.
МСК и регионы: как меняется % агрегаторов и сложной коммерции в регионах?
Дать ответ на вопрос, подходит ли канал SEO для тематик со сложной коммерцией и агрегацией?
Создать инструмент для скоринга запросов на предмет каждого типа расшифровки по позициям + «Кроме выбранной расшифровки».

Итак, первый вопрос: что делать со сложной коммерцией, когда в выдаче очень много агрегаторов? Ответ: необходимо создать инструмент для скоринга, чтобы каждый мог повторить это исследование и делать чуть более глубокую аналитику, чем сбор семантики и съем позиций.

Что есть на текущий момент (август 2019)

Если брать все тематики, то в Яндексе 65% коммерческих сайтов. Сложная коммерция – это сайты типа Wildberries, у которых большое количество страниц, много филиалов и разнообразный каталог, но этих сайтов не так много.

Доля агрегаторов в Яндексе просто уничтожает коммерцию. Причем делается это очень профессионально. Google более лоялен в этой ситуации, у него лишь 8% агрегаторов.

Ситуация по информационным запросам отражена на слайде выше. Может возникнуть вопрос: а зачем вообще брать информационные запросы? Дело в том, что изначально их и не брали. Была задача исследовать абсолютно коммерческие ядра, но, например, в тематике «Дизайн интерьера» есть информационные запросы, и с этим ничего сделать нельзя. Поэтому в выборку попали и инфозапросы.

Сервисы поисковых систем – это сайты вроде Здоровья Mail.Ru и т.п. Они тоже ранжируются по соответствующим запросам. И в коммерческой выдаче очень часто можно увидеть, что некий ВЧ-запрос, например, «кондиционеры в Москве», занимает место в соцсети и, соответственно, хорошо ранжируется по этому запросу.

Следующий момент – изменение % соотношения органики.

За полгода коммерческих сайтов в ТОП 10 выдачи Яндекса стало на 12,4% меньше. Такими темпами через два года или чуть больше большинство товаров будет уже продавать сам Яндекс. Похоже, коммерческие сайты Яндексу не нужны, и он планомерно от них избавляется.

Важный момент: это медианные данные. Если смотреть средние значения, то это будет другая картина, потому что пики, показанные на графике, сейчас не учитываются.

И уже сейчас понятно, что есть тематики, в которых из-за агрегации делать SEO нет никакого смысла. На скриншоте выше -32,8% – это отношение второго файла к первому. При этом в Яндексе 72% агрегации. К сожалению, здесь вебмастерам делать нечего. Та же ситуация с «Арендой недвижимости» – там не такой жесткий процент, но 60% агрегаторов в ТОП 10 по всем запросам – это печальная картина. Эту проблему нужно решать, но пока SEO обречено там умереть.

Интересный факт: чем сложнее услуга или товар, тем меньше там агрегации. Например, грузоперевозки требуют слишком высокой экспертизы при продаже, поэтому агрегаторы просто туда не лезут. Или продвижение сайтов: один специалист продвигает по одной цене, другой – по другой, при этом у них совершенно разные методики работы. Так что поставить их вместе и как-то агрегировать информацию практически невозможно.

Что до тематик с максимальным процентом: там все не так просто. Например, сигареты (оптовая и розничная продажа) интересны агрегаторам.

Выводы для региона Москва

Все печально: здесь Яндекс должен перестать быть для вас приоритетной системой. Дело в том, что поисковик отдает приоритет в ранжировании агрегаторам и сложной коммерции, при этом % URL таких сайтов постоянно растет. А вот в Google ситуация развивается противоположным образом.

Выводы для регионов

В регионах процент агрегации чуть меньше. Дело в том, что процент коммерции там падает.

Все ли потеряно в жестких тематиках? Нет, но нужно прикладывать больше сил, чтобы найти запросы, с которых вы сможете получать трафик. На скриншоте ниже пример коммерческих сайтов, которым удается соревноваться с агрегаторами. Один из ресурсов получает 18% трафика и 56,8 тысяч трафика.

Проблема не в SEO или коммерческих сайтах, проблема в том, что агрегация постоянно растет, причем растет и количество агрегаторов в разных нишах. И если вы ищете конкретный товар, например, фотоаппараты, и встречаете агрегатор, специализирующийся на фототехнике, его предложение будет лучше, чем у любого из коммерческих сайтов.

Решение проблемы

В качестве решения Александр предложил скоринг запросов и итерационное продвижение.

Последовательность действий:

Собрать данные для исследования вашей тематики.
Подготовить расшифровку для доменов.
Получить данные по составу топа в вашей тематике.
Получить данные по изменению URL у фраз на основании разных итераций вводных (недели, месяцы и т.д.).
Выбрать запросы, у которых отсутствует необходимый тип расшифровки (например, агрегаторы), – внедрить эту семантику.
Выбрать запросы с минимальным присутствием по позициям необходимого типа расшифровки (например, агрегаторы) – внедрить эту семантику.
И только после получения топа по этим запросам переходить к наиболее сложной семантике.

А теперь по шагам

Чтобы это все получить, нужны данные. Их можно взять из Key Collector и XMLProxy (для Яндекса) и XMLRiver (для Google) или Топвизора (инструмент «Снимки выдачи»). Минимальный период съема данных для каждой ПС – 4 недели.

Итак, вытаскиваем данные из Топвизора и Key Collector. Выгрузив данные выдачи из Key Collector в режиме «Мульти-группы», мы получаем несколько файлов Excel с данными поисковой выдачи. Но вид файлов Топвизора отличаются от того, что дает KC – получаются две разные сущности. Решить эту проблему помогает макрос для обработки данных в папке. Достаточно открыть макрос, загрузить туда файлы Топвизора, и он их обработает, приведя к виду Key Collector – слева запрос, справа их ТОП 10.

Затем макросу нужно понять, с чем сравнивать данные. Это нужно, чтобы понимать, заходить вам в эту тематику или нет. Те, кто работает со своими проектами, прекрасно понимают, что если процент агрегации на каждом файле будет сильно увеличиваться, то будет лучше отказаться от такого клиента.

Что дальше?

Из одного базового файла нам необходимо получить домены из URL. Для этого в Excel копируем столбец URL в отдельный столбец и применяем «Текст по столбцам». Получаем таблицу следующего вида:

Удаляем все, начиная от столбца D, чтобы остался протокол и домен. В столбец «B» вставляем «//» и протягиваем. В ячейке D1 пишем формулу =СЦЕПИТЬ(A1;B1;C1;) и протягиваем.

Копируем столбец D и используем специальную вставку, чтобы из формул получить данные.

Выделяем весь столбец и удаляем дубликаты.

Полученные 344 домена вставляем в Netpeak Checker и снимаем следующие параметры:

Title
Телефонные номера
Проиндексированных URL Яндекс
Дату регистрации домена и дату первого сканирования Вебархивом
Опционально: трафик SimilarWeb
Опционально: Топ 100: количество фраз в Serpstat

Проблема в том, что вы не можете получать данные с SimilarWeb и данные по количеству фраз Serpstat, потому что для этого нужно API. По факту проиндексированных URL Яндекса вполне достаточно, чтобы понимать, насколько большой перед вами проект.

На скриншоте ниже интерфейс Netpeak Checker.

Здесь сразу можно посмотреть число сайтов с большим количеством страниц, по которому можно определить, что это агрегатор. Сайт, у которого 4 или 14 млн страниц, не может быть коммерческой тематики, где примерно 114 страниц. Там, где есть сомнения, тематичный перед вами агрегатор или нет, вы уже просматриваете вручную.

Для чего нужны поля с email и телефонами

Телефонные номера есть в принципе на коммерческих сайтах, а на сайтах агрегаторов вы их не встретите. Есть нюанс: если в верстке карточки у агрегатора телефон встречается, Checker будет его показывать.

Для чего нужна дата создания

Чтобы найти информационные проекты. Допустим, если мы берем XML-панель, то вы увидите по дате домена старые и молодые сайты и сможете вычислить среди них информационные, коммерческие и так далее.

Что получается

Берем данные и начинаем расставлять по ним оценки. Проблема в том, что оценки приходится расставлять руками, и на это уходит основное время. У команды Александра из восьми человек на 103 тысячи доменов ушло больше месяца.

Следующий шаг

Макрос работает так, что он проверяет соответствие домена и URL. Это разное. В конце у данных стоит слеш – это вид, который выдает Netpeak Checker. Средствами Excel (а именно формулой =ПСТР(A2;1;ДЛСТР(A2)-1)) избавляемся от них и из списка со слешами делаем список без слешей.

Переходим к макросу. В последний лист «Оценки» вставляем домены и расшифровку. Затем переходим в лист «Ввод» и выбираем папку с данными, которые мы подготовили. Нажимаем преобразовать. Если вы все правильно сделали, вы увидите «ОК».

Если были ошибки (например, спецсимволы или эмодзи в URL), макрос сломается. Но он будет указывать, что в файле есть такая-то строка с неправильным URL, который невозможно прочитать.

Нажимаем вторую кнопку «Добавить столбец расшифровки». И макрос отдает вам домены со всех файлов, для которых нет расшифровки. Повторяем процесс расшифровки.

Всего для этой тематики понадобилось расшифровать 796 доменов. В случае успеха при повторном нажатии кнопки макрос выдаст сообщение «ОК».

Переходим на лист Отчет1 и нажимаем кнопку заполнить Отчет 0,0-1,3.

Когда вы подготовили расшифровку, макрос посчитает количество оценок в названии таблиц. Например, 1 – коммерция, 2 – агрегация, 3 – сложная коммерция, а последняя таблица будет отвечать не за численные и процентные данные, а за процент изменений. И в принципе по каждому значению вы будете видеть диаграмму, которую можно представить клиенту, оставить для себя и просто следить, как изменяется процентное отношение.

При нажатии на кнопку «Заполнить Отчет 4» в листе Отчет 2 заполнятся данные об изменении URL с привязкой к фразам и файлам.

Для чего это нужно? Вы должны понимать, как менялись URL. Если ваш проект продвигается здесь, вы можете на этом листе полностью посмотреть, как менялся процент отношения по топам от файла к файлу. А учитывая, что это ревизия ваших файлов за 4, 10 неделю и т.д., перед вами будет вся аналитика с фразами, показывающая, как изменяется процент конкретных топов по вашим конкретным фразам.

Скоринг запросов

Самое важное во всем процессе – это скоринг запросов. Ведь у нас есть тип расшифровки, который файл понимает, и есть позиция. Поэтому мы можем сказать макросу, например, «найди мне все запросы с коммерческим сайтом на 1 и 2 позиции», и он эти запросы предоставляет. Есть еще кнопка «кроме выбранной расшифровки».

Еще одна возможность как раз по скорингу в тематике «Недвижимость», где почти 60% агрегации. Александр попросил макрос показать все запросы с коммерческими сайтами на 1–3 позиции. И макрос показал запросы, по которым нет сайтов-агрегаторов. Почему их там нет? Все очень просто: агрегаторы – это коммерческие компании. У них точно так же есть семантика, SEO-шники и люди, которые строят их структуру. И у них нет бюджета, так что всегда есть запросы, по которым даже в недвижке – аренда недвижимости или продажа домов – не будет агрегаторов. И ваша задача увидеть эти вопросы и при продвижении поставить их выше, чем условный запрос «купить квартиру», по которому вы никак не обойдете агрегаторы.

Что получили

В тематике «Недвижимость» семантика, поданная на вход, – 6000 запросов, не так уж и много, но это клиентская семантика. Запросов с коммерческими сайтами на первой позиции в Яндексе – 218, у Google – 529. В принципе у нас есть 529 мест в поиске из 6 тысяч запросов. И это очень хороший результат для такой небольшой выборки.

Что нужно сделать, чтобы получить макрос

На основе оценок команды Александра и других специалистов, готовых поделиться данными, можно сделать сервис. Этим могут заняться владельцы любого из инструментов автоматизации. Но для этого придется дать им расшифровку, потому что искать корреляции практически невозможно, а данные исходников повышают вероятность на успех.

Соответственно, общими усилиями можно собрать расшифровки по всем популярным тематикам. И дальше любой владелец сервиса на заранее обозначенных условиях сделает хороший сервис, и вся эта работа будет производиться автоматически.

Итак, если коротко, как получить макрос: вы делаете расшифровку, присылаете ее Александру, а он отдает вам макрос. Чтобы это организовать, нужно всего лишь немного возможностей Excel и пара человек.

Нужно больше подробностей? Скорее всего, они есть в презентации.

Читайте также: