Войти как пользователь
Вы можете войти на сайт, если вы зарегистрированы на одном из этих сервисов:
Россия +7 (495) 139-20-33
7 Февраля в 13:21

Покажите вашему сеошнику. Что не так со Screaming Frog SEO Spider

Россия +7 (495) 139-20-33
1 4083
Подпишитесь на нас в Telegram
Павел Кондрашов
Ведущий менеджер поискового продвижения i-Media

Меня зовут Павел Кондрашов, я ведущий менеджер по SEO в i-Media. Мы помогаем компаниям находить клиентов из поиска и делаем так, чтобы сайт приносил продажи. В статье расскажу, как я выявил неспособность Screaming Frog эмулировать ботов Яндекса. Материал будет полезен как новичкам, так и опытным специалистам.

Слишком много пустых тегов

В процессе парсинга сайта клиента я обнаружил необычно большое количество пустых тегов title на страницах, которые должны быть закрыты от индексации. Стал думать, с чем это может быть связано. Подозрение пало на robots.txt.

Пустые теги

Из скрина видно, что пустых тегов чуть меньше 50%, что кратно выше нормы

С помощью Вебмастера и служебного файла посмотрел, учитывает ли программа необходимую директиву. Гипотеза не подтвердилась, файл был корректен, но проблема не исчезла.

Проверка файла

Затем я предположил, что при парсинге у меня было включено игнорирование файла во фроге. Но здесь тоже все было в порядке.

Проверка файла

Из скрина видно, что программа учитывает robots при парсинге, а значит проблема не в выбранной настройке

Затем мне пришла идея – сравнить в каком из user-agent в robots.txt сайта расположена закрывающая директива и какого user-agent эмулирует Frog. Оказалось, что в robots.txt, директива стоит только для user-agent Yandex bot, а в Screaming Frog Google bot. Чтобы проверить гипотезу, поменял Google bot на Yandex bot, запустил парсинг, но страницы остались.

Проверка файла

Все оказалось куда интереснее

На этом идеи закончились. Я обращался к коллегам, но никто ранее не встречался с такой проблемой и советовали сделать то, что уже проверил и не сработало. Тогда я решил сравнить список ботов, указанных в Яндекс Справке со списком в Screaming Frog. Они были одинаковые. Затем сравнил версии, так как подумал, что во фроге была не последняя. Но нет.

После некоторого времени раздумий появилась гипотеза о неспособности Screaming Frog эмулировать ботов Яндекса. Это бы означало, что самый популярный и известный инструмент SEO-специалиста не такой уж универсальный.

User-agent в Яндекс Справке

User-agent в Яндекс Справке полностью совпадал с указанным в Screaming Frog

Чтобы убедиться в гипотезе, я добавил кастомный файл robots.txt в Screaming Frog. Он содержал директиву, закрывающую страницу от индексации для всех user-agent. Все заработало, страницы перестали попадать в Screaming Frog.

страницы пропали

И, наконец-то, страницы пропали

Бот Яндекса 1:0 Screaming Frog

Этот случай выявил неспособность Screaming Frog эмулировать ботов Яндекса, а значит, аналитики и оптимизаторы должны быть внимательны к возможным ограничениям инструментов и проверять полученные данные в Яндекс Мастере. Только так можно обеспечить точность результатов и гарантировать эффективные шаги по улучшению показателей веб-ресурсов.

1 комментарий
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
  • Гость
    1
    комментарий
    0
    читателей
    Гость
    неделю назад
    давно не смотрю на данные я-вебмастера как важные и не советую клиентам делать на их основании выводы.
    -
    1
    +
    Ответить

Отправьте отзыв!
X | Закрыть