5 апреля состоялась конференция Go Analytics!, в ходе которой представительницы Яндекса Мария Мансурова и Александра Кулачикова рассказали о том, как алгоритмы машинного обучения каждый день помогают сервисам Яндекса и пользователям Яндекс Метрики.
Мария Мансурова начала выступление с рассказа о том, как может применяться машинное обучение (ML). Инструмент может быть полезен для:
- Предиктивной аналитики.
- Улучшения продукта: рекомендаций, KPI.
- Аналитики и работы с клиентами (сегментация, пользовательский граф).
- Автоматизации процессов.
Александра Кулачикова отметила, что с помощью ML можно предсказывать:
- Отток клиентов.
- Конверсии и сумму заказа.
- Выкуп заказа.
- Спрос.
Представительницы Яндекса привели в пример одного из клиентов компании – сайт "220 вольт", для которого необходимо было предсказать конверсию. Специалисты компании собирали данные о действиях пользователей на сайте в течение двух месяцев и оценивали характеристики для каждого юзера – например, с какого браузера он зашел, а также его поведение (как часто заходит и т.д.). На основе этих данных оценивалась вероятность совершения покупки в течение следующей недели.
Для каждого из посетителей сайта выводился отдельный сегмент – по степени вероятности совершения покупки. После этого сегменты обновляли каждый день. Поэтому один и тот же пользователь мог переходить из одного сегмента в другой. Затем сегменты использовали для оптимизации рекламных кампаний и ретаргетинга.
Чтобы понять, все ли сделано правильно, необходимо было проверить, действительно ли пользователи, для которых была предсказана конверсия, конвертируются. Специалисты сравнили два сегмента: со средним и с высоким показателем конверсии. Результат был положительным, после чего для клиента был запущен тест, показавший хороший результат.
Однако предсказывать можно не только конверсию. Мария Мансурова продолжила выступление, рассказав о клиенте из travel-тематики. Для него необходимо было предсказать чек.
Для travel-тематики характерен поиск с разных устройств. Пользователи могут начинать интересоваться поездками по пути на работу, рассматривая варианты на мобильном устройстве, а совершить покупку – дома с десктопа.
Для новой модели были выделены следующие значимые признаки:
|
Признак |
Значимость |
|
Число дней с последнего визита |
0,2364 |
|
Устройство (mobile, desktop) |
0,1201 |
|
Возрастная группа |
0,1102 |
|
Достижение цели №1 |
0,0655 |
|
Число дней с первого визита |
0,0614 |
|
Пол |
0,0502 |
|
Достижение цели №2 |
0,0308 |
|
Достижение цели №3 |
0,0282 |
|
Число покупок на сайте |
0,0274 |
|
Число купленных товаров на сайте |
0,0257 |
Представители Яндекса отметили, что не все пользователи могут быть одинаково полезны:
Работа с данной компанией еще не завершена, но Мария отметила, что Яндекс сообщит о результатах в будущем.
Александра также рассказала об опыте коллег из Яндекс.Маркета. Так, представителям сервиса нужно было добавить блок и рекомендацию цены магазина для карточки товара.
Основной проблемой являлся тот факт, что в Маркете представлены разные магазины – многие из них довольно новые, где-то нет отзывов, какие-то не оформлены должным образом. Это могло оттолкнуть пользователей. Поэтому решено было начать ранжировать магазины по различным характеристикам с помощью машинного обучения.
Среди характеристик были следующие:
- Цена
- Наличие рейтинга
- Наличие отзывов
- География
Это позволило наиболее полезному для пользователей магазину повысить количество заказов на 30%.
Мария также рассказала о проблемах, с которыми рискуют столкнуться все:
- Постановка задач и описание объекта. Задачу ставит человек, а машина (пока что) не умеет придумывать вопросы.
- Данные не идеальны (неоднородны, неполные, их мало, могут содержать шум).
- Хороший результат – это еще не конец.
- Не всегда дело в модели.
- Несбалансированные классы.
- Переобучение.
- Модель подглядывает правильные ответы.
Читайте также: Go Analytics! 2018: прогнозирование покупки и оптимизация рекламных кампаний на его основе