Существует бесконечное множество примеров использования автоматического парсинга данных (поиска и извлечения данных с HTML-страниц) для сбора больших массивов информации, начиная от мониторинга цен конкурентов и заканчивая анализом популярности контента. В этой статье мы рассмотрим 75 случаев, когда вы сможете использовать парсинг с помощью инструментов Netpeak Spider и Netpeak Checker для автоматизации и упрощения рутинных задач.
В качестве дополнения к статье – список готовых параметров парсинга для наиболее популярных площадок, таких как Amazon, Google, Facebook и др., а в блоге Netpeak Software описан технический аспект парсинга во всех деталях.
Ecommerce
В сфере Ecommerce парсинг в основном используется для сбора данных о товарах и может быть реализован как на собственном сайте, так и на сайте конкурента.
Пример результатов парсинга товаров iHerb в Netpeak Spider
Количество показателей, которое вы можете спарсить со страниц интернет-магазинов, ограничено лишь спецификой каждого из них. Вот основной список ключевых параметров большинства магазинов.
1. Цена
Цена – это наверняка первое, что приходит в голову в разрезе парсинга интернет-магазинов. Парсинг цены товаров, к примеру, будет полезен для сравнения и трекинга цен конкурентов для последующей корректировки ценовой политики и запуска контекстной рекламы на те товары, которые доступны у вас по более выгодной цене.
2. Ассортимент продуктов
Под ассортиментом продуктов подразумевается общее количество товаров или количество товаров определенной категории. Извлечение наименований (артикулов) товаров будет полезно для понимания полноты ассортимента в собственном магазине или магазине конкурента.
3. Описание и характеристики товара
Описание товара формирует большую часть контентной составляющей карточки товара. Для успешного продвижения этот текст должен быть немаленьким, а главное – уникальным. Зачем парсить описание со страниц конкурентов или поставщиков? Чтобы проанализировать текстовую составляющую и поставить ТЗ копирайтеру для написания уникального контента на основе уже имеющегося текста.
4. Фото товара
Качественные фото товара – важнейший компонент успеха в Ecommerce. Если по какой-то причине у вас еще нет уникальных фото, вы можете временно использовать изображения с сайта поставщика. С помощью парсинга можно быстро выгрузить список ссылок на изображения товаров.
5. Наличие товаров
Вы можете собирать данные о товарах, которых нет в наличии на складе прямого конкурента, например, чтобы стартовать контекстную рекламу для аналогичных товаров своего магазина.
6. Отзывы и рейтинговые показатели
Парсинг и последующий анализ рейтингов, оценок и отзывов позволяет выявить наиболее популярные и востребованные товары у конкурентов. Можно также выгружать и сами отзывы покупателей для более детального конкурентного анализа (например, сентимент-анализа).
7. Размер скидки на товар, либо цена по акции
Зачастую большинство карточек товаров имеют две цены – реальную и со скидкой. Парсинг указанных скидок или специальных цен со страниц акционных товаров позволяет мониторить ценовую политику и стратегию конкурентов. Особенно полезно анализировать изменение цен в периоды масштабных акций и праздничных дней, таких как «черная пятница», летние распродажи, и т.д.
8. Даты действия акционных предложений
Речь идет о выгрузке даты начала и конца скидок на конкретные товары конкурентов (это может быть даже целая категория «Распродажа» / «Акция» / «Товары со скидкой» и т.п.) для планирования собственной рекламной кампании для аналогичных товаров.
9. Доступные опции и вариации товара
Детальный анализ размерных, цветовых и технических вариаций тех или иных товаров, доступных у конкурента. Опять-таки, это нужно для выявления сильных и слабых сторон, причем как у конкурентов, так и у себя.
10. Условия доставки
Выгрузка данных о сроках и стоимости доставки с сайтов-конкурентов позволит сформировать более выгодное предложение, чем у конкурентов. Применимо в случаях, когда в интернет-магазин осуществляет доставку различными способами.
Поисковые системы: Google, Bing, Yahoo, Яндекс
Парсинг выдачи поисковых систем по конкретным запросам используется для анализа конкурентов, поиска потенциальных клиентов в заданной нише, анализа выдачи, поиска дроп-доменов и сотни различных задач.
При помощи Netpeak Checker можно извлечь исчерпывающую информацию по поисковой выдаче с указанием географических, языковых и ряда других параметров. Часть задач может быть выполнена с Netpeak Spider, однако менее удобным образом.
Парсинг поисковой выдачи с помощью Netpeak Checker
11. Поисковая выдача по перечню запросов
С помощью парсинга вы можете выгрузить результаты поисковой выдачи по списку ключевых запросов. Следующим шагом может быть анализ и сравнение результатов по SEO-параметрам. Таким образом вы получите актуальные данные, которые являются незаменимыми при анализе ниши и конкурентов в органике. Менее очевидным кейсом использования парсинга поисковой выдачи может быть поиск дроп-доменов.
12. Содержимое сниппетов в органической выдаче по заданным запросам
Парсинг данных (title, description, URL из сниппетов) по топовым страницам органической поисковой выдачи поможет при анализе ниши, конкурентов в органической выдаче и для понимания, какой тип контента поисковые системы предпочитают по тем или иным запросам.
13. Блок с ответом (Featured Snippet) в выдаче
Featured Snippet – это блок с готовым ответом, который Google считает наиболее релевантным запросу и выводит в самом верху выдачи. С помощью парсинга можно проверить выдачу на наличие блока с ответом, а также получить его содержание.
14. Выдача AdWords по заданному ключевику
Платная выдача может занимать до четырех позиций в начале и в конце выдачи. С помощью парсинга можно проанализировать список запросов и собрать сайты, присутствующие в платной выдаче по каждому из них.
15. Связанные запросы (блоки «Часто ищут...» и «Похожие запросы»)
Google предоставляет два вида блоков со связанными запросами – «Вместе с … часто ищут» (People also ask) и «Похожие запросы» (Searches related to). Парсинг запросов из этих блоков позволяет собрать похожие и альтернативные запросы, предлагаемые поисковой системой, для проведения исследований по ключевым словам и расширения семантики.
16. Позиции в органической выдаче
Парсинг выдачи поисковых систем отлично подходит для фиксации и мониторинга позиций своего сайта либо сайтов конкурентов по списку запросов.
Социальные сети и блог-платформы: Facebook, YouTube, Instagram, LiveJournal, LinkedIn, Pinterest, ВКонтакте и Twitter
Большинство из нас так или иначе взаимодействуют с социальными сетями и крупными блог-платформами. Они хранят и публично предоставляют множество полезной информации, которая может быть собрана с помощью парсинга.
Парсинг информации из социальных сетей в первую очередь полезен для маркетологов, sales-специалистов, комьюнити-менеджеров, аутрич-специалистов – иными словами всех, кто анализирует рынок для своих задач или, например, изучает список ранее собранных страниц для поиска потенциальной возможности сотрудничества.
Пример результатов парсинга бизнес-страниц на Facebook
17. Анализ выдачи по целевому запросу
Социальные сети являются своего рода поисковыми системами. Все они также имеют внутренний поиск, а значит мы можем собрать результаты выдачи по целевым запросам с помощью парсинга. Это значительно ускоряет процесс анализа ниши и алгоритмов выдачи той или иной социальной сети.
18. Количество лайков, дизлайков и комментариев
Лайки и комментарии – основные показатели вовлечения аудитории, что в свою очередь определяет качество площадки, сообщества, канала, и т.д. Массовый анализ показателей вовлеченности полезен для оценки качества площадок для потенциального сотрудничества и размещения рекламы, а также оценки уровня активности конкурентов в социальных сетях.
19. Количество просмотров
Количество просмотров в первую очередь определяет востребованность контента. Парсинг позволяет собрать показатели просмотров любого рода публикаций для анализа самого востребованного контента в нише.
20. Количество публикаций в аккаунте или канале
Автоматический парсинг показателей счетчика публикаций или видео для списка выбранных аккаунтов пригодится при детальном анализе конкурентов и ниши в целом. Регулярный парсинг позволяет мониторить темпы прироста контента на страницах конкурентов.
21. Количество подписчиков
Парсинг позволяет автоматизировать сбор данных о количестве подписок пользователя, канала или блога для оценки его охвата. Регулярный мониторинг количества подписчиков позволит оценить темпы роста как отдельно взятых конкурентов, так и ниши в целом.
22. Сбор публичных данных по списку бизнес-страниц
Парсинг данных о компании/бренде, ценовой политике, позиционировании и прочей информации в профиле компании.
Контактные данные
Контактные данные являются одним из наиболее частых случаев использования парсинга. Если нужно быстро собрать базу контактов потенциальных клиентов или площадок для аутрича, парсинг – это то, что вам нужно.
Однородные по форме контактные данные (номер телефона, электронная почта) лучше всего парсить при помощи Netpeak Checker или регулярных выражений в Netpeak Spider.
Парсинг контактных данных по списку сайтов с помощью Netpeak Checker
23. Email-адреса и номера телефонов
Netpeak Checker позволяет автоматически собрать доступные на странице email-адреса и номера телефонов. В ручном режиме доступен сбор email-адресов и номеров телефонов при помощи регулярных выражений и кастомного парсинга в Netpeak Spider.
24. Имена и должности сотрудников
У многих компаний на сайте есть страницы с описанием команды, что позволяет нам спарсить данные о сотрудниках. Может пригодиться сейлзам или рекрутерам.
25. Страницы в социальных сетях
С помощью Netpeak Checker можно автоматизировать сбор ссылок на аккаунты компании в Facebook, Twitter, Youtube, Pinterest, LinkedIn, Instagram для последующего анализа.
26. Физические адреса
Парсинг физических адресов со списка сайтов компаний. Также это может быть парсинг адресов точек сбыта, если речь идет о конкурентах с обширными сетями, которых необходимо обойти в тех или иных регионах.
27. Контактная информация из микроразметки
Микроразметка Schema.org позволяет компаниям обозначить для поисковых систем свой адрес, контактные данные, время работы и множество другой полезной информации.
Контент
Парсинг – частое явление в контент-маркетинге: с его помощью можно быстро собрать основные данные о контенте конкурентов или своем собственном, что значительно ускоряет процесс анализа.
Пример парсинга метрик статей на vc.ru с помощью Netpeak Spider
28. Ошибки в тексте
Кастомный парсинг с помощью регулярных выражений позволяет автоматизировать поиск распространенных ошибок либо, к примеру, устаревших после ребрендинга вариаций названия бренда или определенных товаров. Таким образом вы можете найти любое упоминание определенного слова на страницах всего сайта.
29. Имена авторов
Популярным примером использования парсинга в контент-маркетинге является сбор базы имен авторов на популярных блогах для последующего аутрича. В совокупности с данными о контенте можно провести анализ наиболее популярных авторов на той или иной площадке.
30. Количественные характеристики текста
При помощи парсинга можно анализировать общий объем текста, объем текста без пробелов, количество изображений и видео на странице, а также количество слов, что может быть актуально для:
- тех, кто оптимизирует контент на собственном сайте;
- тех, кто анализует контент отдельно взятых конкурентов или лидирующие страницы в выдаче по определенным запросам.
31. Метатеги
Парсинг title, meta description, H1–H6 заголовков позволяет проанализировать то, как конкуренты структурируют свой контент и какие приемы оптимизации используют. Если вы хотите собрать и проанализировать полный список статей конкурента, метатеги – важнейший объект анализа.
32. Показатели виральности контента
К показателям виральности контента относятся: просмотры, лайки, апвоуты, репосты, комментарии и другие метрики вовлечения. Зачастую многие из них выведены на странице соответствующей статьи. Парсинг данных метрик позволяет выявить наиболее популярный и виральный контент конкурентов или блог-площадок.
Amazon
Парсинг Amazon особенно востребован у вебмастеров, продвигающих сайты под партнерскую программу этой площадки.
33. Характеристики товаров
С карточек товаров на Amazon можно выгрузить цену, рейтинг товара, описание и другие важные параметры. В дальнейшем их можно использовать при наполнении своего сайта и как основу для написания статей-обзоров.
34. Отзывы о товаре
Парсинг отзывов о товарах на Amazon будет полезен для анализа их содержания и выявления словесных конструкций, чаще всего используемых для описания тех или иных продуктов. Использование таких инсайтов при написании обзоров сделает их более натуральными, что в свою очередь может повысить конверсии.
Пример результатов парсинга информации о товарах на Amazon в Netpeak Spider
Wikipedia
Wikipedia является самой масштабной цифровой энциклопедией. А где много контента – там много способов применить парсинг. Наиболее распространенные кейсы парсинга Wikipedia в основном связаны с линкбилдингом.
Пример результатов парсинга Wikipedia в Netpeak Spider
35. Список источников в статье
Под списком источников подразумеваются исходящие ссылки из разделов «Примечания», «Литература» и «Ссылки». Выгрузка списка указанных в статье источников будет полезна для поиска авторитетных сайтов в выбранной нише и поиска битых ссылок и дроп-доменов для последующего линкбилдинга.
36. Запросы на уточнение информации
Поиск нишевых статей, которые нуждаются в дополнении и уточнении и в которых можно указать источник на своем сайте либо же разместить свою информацию и улучшить рейтинг профиля на Wiki.
37. Инфобоксы
Инфобокс представляет собой таблицу с фактической информацией об объекте статьи. Зачастую инфобокс присутствует в статьях о людях, местах, фильмах, и т.д.
Whois
Whois – это сетевой протокол прикладного уровня, использующийся для получения данных о доменах. С помощью Netpeak Checker можно автоматизировать сбор информации по списку доменов.
Пример парсинга Whois в Netpeak Checker
38. Дата создания и срок истечения домена
Whois позволяет узнать дату регистрации и дату истечения срока оплаты домена. С помощью этих данных можно узнать возраст доменов, а также найти домены с истекающим или уже истекшим сроком действия (т.н. дроп-домены).
39. Email владельца / регистратора домена
Парсинг контактных email-адресов интересующих вас доменов пригодится для последующей связи с владельцем / регистратором.
SimilarWeb
SimilarWeb является всемирно известным сервисом, с помощью которого можно проанализировать трафик любого сайта, а также множество других полезных параметров. Те, у кого есть ключ к платной версии этого сервиса, могут автоматизировать процесс сбора параметров в Netpeak Checker.
Однако с помощью парсинга в Netpeak Spider и пары минут несложных махинаций можно бесплатно получить основные параметры SimilarWeb для списка доменов. Условия парсинга вы сможете найти в документе.
Пример парсинга SimilarWeb с помощью Netpeak Spider
40. Объем трафика
Основной функцией SimilarWeb является анализ трафика. Трафик является одной из главных метрик оценки сайта. С помощью парсинга можно проанализировать список доменов и получить их месячный трафик.
41. Среднее время визита и глубина просмотра сайта
SimilarWeb предоставляет среднюю длительность сессии, количество страниц, просмотренных за сессию, и показатель отказов. Данные параметры позволяют детальнее проанализировать качество площадки.
42. Источники трафика
Сбор статистических данных по соотношению переходов с основных каналов трафика к общему числу посещений. Также можно получить ТОП 5 стран, которые приводят наибольшее число посетителей, и 5 доменов, генерирующих больше всего реферального трафика. Эти метрики важны для анализа площадок и понимания стратегии продвижения конкурентов.
Конкретные части кода на сайтах или отдельных страницах
С помощью парсинга можно реализовать поиск определенных участков кода по списку сайтов для понимания, какие из них пользуются или не пользуются каким-то конкретным функционалом.
Пример парсинга элементов Schema, кода GTM, GA, и OpenGraph с помощью Netpeak Spider
43. Перечень используемых на сайте технологий или скриптов
Нужно проверить, какие сайты из списка используют онлайн-чат или другие технологии, присутствующие в исходном коде? С помощью парсинга можно быстро собрать информацию касательно используемых на сайте технологий, скриптов и надстроек.
44. Микроразметка Schema
Микроразметка Schema.org используется для структурирования и передачи информации поисковым системам. Существует более 600 типов Schema для различных нужд. Парсинг структурированных данных позволяет собрать ключевую информацию со страниц сайта. Например, спарсив элементы Organization Schema, можем получить адрес, лого, контактную информацию, и т.д.
45. Hreflang
Hreflang позволяет настроить мультиязычность и мультирегиональность для интернациональных сайтов. Чтобы проверить правильность постановки тегов на всех страницах сайта, достаточно указать несколько условий парсинга и просканировать сайт.
46. Google Analytics и Google Tag Manager
Нередки случаи, когда из-за неправильного проставления кода GA или GTM возникают проблемы с аналитикой. С помощью парсинга можно проверить наличие кодов на всех страницах сайта и их корректность.
47. Open Graph и Twitter Cards
С помощью разметки Open Graph и Twitter Cards можно указать контент, который вы хотите видеть в сниппете при публикации страницы сайта в социальных сетях. С помощью парсинга можно проверить наличие и корректность простановки метатегов на страницах.
Бизнес-каталоги: Yelp, Yellow Pages, BBB
Yelp, Yellow Pages, Better Business Bureau – широко распространенные сайты-справочники на западных рынках, особенно в США. Миллионы бизнесов размещают на этих сайтах свои контактные данные, а посетители могут оставить отзыв и оценить заведение или услугу. С помощью парсинга можно выгрузить список локальных бизнесов и данные по ним.
Пример парсинга Yelp с помощью Netpeak Spider
48. Список локальных бизнесов
Хотите получить список всех кафе или дантистов в округе Чикаго или в центре Рима? «Желтые страницы» – идеальный источник подобной информации. С помощью продвинутой сортировки можно добиться наиболее релевантных результатов, а с помощью парсинга – извлечь нужный список.
49. Адрес и контактные данные
Физический адрес и контактные данные – основа справочника. С помощью парсинга можно автоматизировать сбор номера телефона, физического адреса, адреса сайта,
времени работы по списку бизнесов. Ваши sales-специалисты скажут вам большое спасибо.
50. Рейтинг бизнеса
Общий рейтинг и количество отзывов являются показателями популярности и качества бизнеса с точки зрения клиента и также играют важную роль в анализе конкурентов. С помощью регулярного парсинга можно мониторить темпы роста популярности конкурентов.
51. Список людей, оставивших отзыв
Люди, посетившие и написавшие отзывы о ваших конкурентах, являются идеальной целевой аудиторией. Спарсив список их профилей, вы можете использовать их в различных маркетинговых целях. Например, уведомить об акционном предложении или попросить написать отзыв о своем заведении.
52. Текст отзывов
По состоянию на 30 июня 2019 на Yelp было опубликовано 192 миллиона отзывов о различных бизнесах по всему миру. Потребуется много времени и мощностей, чтобы спарсить их все, но можно с легкостью собрать отзывы о вашем бизнесе или бизнесе конкурентов. Эти данные будут полезны для определения сильных и слабых сторон.
Магазины цифрового контента: Google Play Store, AppStore, Steam и др.
Парсинг магазинов цифрового контента наверняка заинтересует маркетологов и предпринимателей в сфере разработки приложений. Он позволяет автоматизировать сбор информации об уже доступных конкурентах.
Пример результатов парсинга страниц приложений в Google Play Store
53. Список приложений по ключевому запросу
Парсинг списка приложений в выдаче магазина позволяет собрать список всех приложений по ключевому слову. Используя фильтрацию по определенным параметрам, можно, к примеру, собрать список самых популярных продуктов.
54. Статистические показатели каждого приложения
Имея на руках список страниц приложений, можно с легкостью собрать информацию о количестве скачиваний, обновлениях, оценках и других статистических показателях приложений для их дальнейшего анализа и сравнения.
55. Технические данные продукта
Извлечение информации технического характера о приложениях (размер, цена, компания-разработчик и т.д.) пригодится для массового анализа и выявления сильных и слабых сторон конкурентов.
56. Отзывы пользователей
Аналогично парсингу отзывов из интернет-магазинов можно выгрузить список комментариев и отзывов пользователей к приложениям конкурентов. Разделив позитивные и негативные комментарии, можно лучше узнать о сильных и слабых сторонах конкурентов.
Reddit и Hacker News
Reddit – самая оживленная площадка пользовательского контента в мире, месячный трафик которой составляет 1,4 млрд человек в месяц. Собирая столь внушительную аудиторию, Reddit стал популярной площадкой для ведения маркетинговой активности, особенно для маркетологов, работающих на западных рынках. Парсинг позволяет найти релевантные сабреддиты, а также найти тип контента, который вызывает наибольший интерес.
Hacker News – агрегатор новостей из мира IT и предпринимательства. С помощью парсинга можно проанализировать контент, которым люди делятся на подобных площадках, и найти «горячие» темы.
Пример парсинга Reddit с помощью Netpeak Spider
57. Количество комментариев или апвоутов
Так как подобные площадки ежедневно генерируют тонны контента, важно понимать, какой контент получает наибольший отклик. Выгрузка количественных показателей вовлеченности важна для анализа самых вовлекающих публикаций в тематике и понимания того, каких показателей нужно достичь вашим постам.
58. Число подписчиков
Количество сабреддитов на Reddit давно перевалило за отметку в один миллион. Некоторые из них «мертвы», но многие ежедневно посещают тысячи людей. Парсинг количества подписчиков (в том числе в сети) позволяет оценить потенциал сабреддита для последующей маркетинговой активности.
59. Список постов
Парсинг позволяет получить список постов определенной тематики. В зависимости от выбранной сортировки можно выгрузить список постов по новизне, популярности или обсуждаемости для дальнейшего анализа.
60. Список модераторов и данные об их последней активности
У каждого сабреддита есть хотя бы один модератор. С помощью парсинга можно получить список модераторов, а также данные об их последней активности. Эта информация полезна для выявления неактивных модераторов, чтобы подать запрос на модерирование их сабреддитов.
61. Список активных пользователей сабреддита
Запускаете новый продукт и хотите узнать фидбек от целевых пользователей? Кто как не читатели целевого сабреддита могут дать самый ценный отзыв. Все, что нужно, это собрать ссылки на профили людей, активных в целевом сабреддите, и осуществить дальнейший аутрич. Не забудьте предложить что-то взамен, иначе зачем кому-то тратить на вас свое время?
62. Информация о пользователях Reddit из Snoopsnoo
Snoopsnoo – это платформа для аналитики пользователей и сабреддитов на Reddit. Предварительно собрав список пользователей из нужного сабреддита, можно сгенерировать с каждым из них ссылки типа snoopsnoo.com/u/user-name. Из полученных страниц можно извлечь всю информацию о собранной целевой аудитории, включая семейное положение, место жительства и т.д.
Quora
Quora – одна из самых популярных площадок вопросов и ответов. Более 300 миллионов пользователей каждый день задают там вопросы, делятся информацией и используют Quora в маркетинговых целях.
Пример парсинга Quora с помощью Netpeak Spider
Парсинг Quora будет полезен для получения списка релевантных вопросов, выгрузки лучших ответчиков, оценки списка вопросов и т.д.
63. Список последних или топовых вопросов
Парсинг позволяет получить список самых свежих или популярных вопросов в теме или по определенному запросу для понимания интересов ЦА и дальнейшего анализа самих вопросов.
64. Количество просмотров, ответов и заинтересованных пользователей
Выгрузив список релевантных вопросов с помощью парсинга, можно также получить информацию по каждому из них. Например, выгрузить показатели просмотров и оставленных ответов на вопрос, а также число пользователей, которые сочли его интересным (фолловеров).
65. Список топовых ответчиков
Для каждой категории вопросов на Quora есть список самых просматриваемых авторов ответов. Как вы уже могли догадаться, парсинг позволяет выгрузить список наиболее читаемых ответчиков (лидеров мнений) в выбранном топике для последующего анализа их активности и аутрича.
66. Доступность Answer Wiki для выбранных целевых вопросов
Answer Wiki – это блок с быстрым ответом, в котором наиболее эффективно размещать ссылки на релевантные страницы своего сайта. Парсинг позволяет выявить, для каких вопросов уже высвечивается автоматический Answer Wiki и нет возможности его дополнить, а для каких следует побыстрее написать ответ и разместить свою ссылку.
WikiHow
WikiHow – интернет-сообщество вики-типа, состоящее из более 200 000 «How to» статей. С помощью парсинга можно собрать список вопросов, содержащих релевантное ключевое слово, узнать количество просмотров каждого из них или, например, выгрузить вопросы, для которых все еще нет статьи.
Пример парсинга WikiHow с помощью Netpeak Spider
67. Вопросы по целевым тематикам
Осуществив поиск по нужному ключевому слову, можно выгрузить два типа списков вопросов. Первый будет включать уже написанные статьи с вхождением ключевого слова в заголовке. Второй – вопросы, по которым еще нет статьи. Первый список можно использовать для дальнейшего анализа, а с помощью второго можно найти релевантные вопросы и написать выгодный контент.
68. Статистика статей
В каждой статье есть блок со статистикой. Из него можно извлечь следующую информацию: количество соавторов, просмотров, рейтинг публикации. В дальнейшем эту информацию можно использовать для выявления самых популярных тем.
69. Дата последнего обновления контента
Этот показатель вынесен в отдельный пункт не зря. Спарсив дату обновления статей, можно найти те, которые давно не обновлялись, чтобы дополнить их выгодным для себя контентом.
G2 Crowd
G2Crowd – одна из самых крупных платформ отзывов о программном обеспечении и услугах, связанных с IT-сферой. На момент написания этого поста сайт содержал более 840 тысяч обзоров. Парсинг позволяет получить список релевантных программ, отзывы о них, а также профили людей, оставивших отзыв.
Пример парсинга G2Crowd с помощью Netpeak Spider
70. Список релевантных продуктов
G2Crowd сортирует продукты по множествам категорий и подкатегорий. Выбрав релевантную категорию и отсортировав продукты по нужным критериям, можно с помощью парсинга собрать список страниц для последующего анализа.
71. Рейтинг и количество отзывов
Парсинг позволяет собрать общее количество отзывов и рейтинг по списку продуктов конкурентов. Эти данные будут полезны для первичного анализа успехов конкурентов на G2Crowd и последующей их сортировки.
72. Содержание отзывов о продукте
Парсинг позволяет выгрузить текст отзывов о вашем продукте или продукте конкурента. Эти данные незаменимы для SWOT-анализа, сентимент-анализа и улучшения маркетинговой стратегии. После выгрузки отзывов с помощью нехитрой функции можно разделить их на положительную и отрицательную части отзыва для более точного анализа.
73. Список пользователей, оставивших отзыв
Параллельно со сбором текстов отзывов можно парсить ссылки на профили пользователей, оставивших их. Например, их можно использовать для аутрича пользователей, которые написали отзыв на продукт конкурента.
Stack Exchange
Stack Exchange – площадка вопросов и ответов, состоящая из 173 нишевых подкатегорий, одной из которых является самый крупный ресурс для разработчиков – Stack Overflow. Парсинг позволяет автоматизировать поиск популярных тем и подходящих вопросов для повышения репутации.
Пример парсинга Stack Exchange с помощью Netpeak Spider
74. Список релевантных вопросов
Настроив нужную сортировку, с помощью парсинга можно извлечь список ссылок на релевантные вопросы. В дальнейшем их можно отсортировать по показателям из следующего пункта.
75. Параметры вопроса
Спарсив список вопросов, можем дополнить его данными по каждому вопросу. Например, можно выгрузить количество просмотров и ответов, дату создания вопроса и последней активности. Таким образом можно выбрать наиболее подходящие вопросы для ответа и повышения репутации.
Эти 75 примеров покрывают лишь немногую часть наиболее распространенных способов использования парсинга в рабочем процессе интернет-маркетологов, специалистов по Business Development, вебмастеров и всех, кто сталкивается с задачей поиска и сбора информации в больших объёмах.
А вы уже использовали парсинг в своей работе? Делитесь в комментариях своими кейсами :)
Теги:
