Go Analytics! 2018: Machine learning в реальной жизни

5 апреля состоялась конференция Go Analytics!, в ходе которой представительницы Яндекса Мария Мансурова и Александра Кулачикова рассказали о том, как алгоритмы машинного обучения каждый день помогают сервисам Яндекса и пользователям Яндекс Метрики.

Мария Мансурова начала выступление с рассказа о том, как может применяться машинное обучение (ML). Инструмент может быть полезен для:

  • Предиктивной аналитики.
  • Улучшения продукта: рекомендаций, KPI.
  • Аналитики и работы с клиентами (сегментация, пользовательский граф).
  • Автоматизации процессов.

Александра Кулачикова отметила, что с помощью ML можно предсказывать:

  • Отток клиентов.
  • Конверсии и сумму заказа.
  • Выкуп заказа.
  • Спрос.

Представительницы Яндекса привели в пример одного из клиентов компании – сайт "220 вольт", для которого необходимо было предсказать конверсию. Специалисты компании собирали данные о действиях пользователей на сайте в течение двух месяцев и оценивали характеристики для каждого юзера – например, с какого браузера он зашел, а также его поведение (как часто заходит и т.д.). На основе этих данных оценивалась вероятность совершения покупки в течение следующей недели.

Для каждого из посетителей сайта выводился отдельный сегмент – по степени вероятности совершения покупки. После этого сегменты обновляли каждый день. Поэтому один и тот же пользователь мог переходить из одного сегмента в другой. Затем сегменты использовали для оптимизации рекламных кампаний и ретаргетинга.

Чтобы понять, все ли сделано правильно, необходимо было проверить, действительно ли пользователи, для которых была предсказана конверсия, конвертируются. Специалисты сравнили два сегмента: со средним и с высоким показателем конверсии. Результат был положительным, после чего для клиента был запущен тест, показавший хороший результат.

Однако предсказывать можно не только конверсию. Мария Мансурова продолжила выступление, рассказав о клиенте из travel-тематики. Для него необходимо было предсказать чек.

Для travel-тематики характерен поиск с разных устройств. Пользователи могут начинать интересоваться поездками по пути на работу, рассматривая варианты на мобильном устройстве, а совершить покупку – дома с десктопа.

 

Для новой модели были выделены следующие значимые признаки:

Признак

Значимость

Число дней с последнего визита

0,2364

Устройство (mobile, desktop)

0,1201

Возрастная группа

0,1102

Достижение цели №1

0,0655

Число дней с первого визита

0,0614

Пол

0,0502

Достижение цели №2

0,0308

Достижение цели №3

0,0282

Число покупок на сайте

0,0274

Число купленных товаров на сайте

0,0257


Представители Яндекса отметили, что не все пользователи могут быть одинаково полезны:

 

Работа с данной компанией еще не завершена, но Мария отметила, что Яндекс сообщит о результатах в будущем.

Александра также рассказала об опыте коллег из Яндекс.Маркета. Так, представителям сервиса нужно было добавить блок и рекомендацию цены магазина для карточки товара.

 

Основной проблемой являлся тот факт, что в Маркете представлены разные магазины – многие из них довольно новые, где-то нет отзывов, какие-то не оформлены должным образом. Это могло оттолкнуть пользователей. Поэтому решено было начать ранжировать магазины по различным характеристикам с помощью машинного обучения.

Среди характеристик были следующие:

  • Цена
  • Наличие рейтинга
  • Наличие отзывов
  • География

Это позволило наиболее полезному для пользователей магазину повысить количество заказов на 30%.

Мария также рассказала о проблемах, с которыми рискуют столкнуться все:

  • Постановка задач и описание объекта. Задачу ставит человек, а машина (пока что) не умеет придумывать вопросы.
  • Данные не идеальны (неоднородны, неполные, их мало, могут содержать шум).
  • Хороший результат – это еще не конец.
  • Не всегда дело в модели.
  • Несбалансированные классы.
  • Переобучение.
  • Модель подглядывает правильные ответы.

Читайте также: Go Analytics! 2018: прогнозирование покупки и оптимизация рекламных кампаний на его основе

(Голосов: 5, Рейтинг: 5)