Как мы с помощью предиктивных моделей сэкономили 20% бюджета на продвижение мобильных игр

В портфолио Mail.Ru Group входит пул мобильных игр. Компания активно развивает проекты, в том числе продвигая их и привлекая аудиторию. Важная часть этого процесса — оценка качества трафика.

Чем раньше удаётся получить такую оценку, тем более оптимально можно распределить бюджет: точная информация о качестве трафика позволяет отключить неэффективные каналы и сосредоточиться на тех, которые приводят в игру самых платёжеспособных и лояльных пользователей.

Чтобы минимизировать затраты и повысить монетизацию, в компании разработали инструмент предиктивной аналитики, работающий на базе сервиса myTracker и использующий технологии машинного обучения.

Для ряда игровых проектов компании (Juggernaut Wars, «Эволюция», Hawk, Hustle Castle) были разработаны модели, прогнозирующие основные метрики — например, LTV (lifetime value — совокупный доход, получаемый за всё время) — для любой выборки игроков на основе анализа данных, собранных всего за один-пять дней после установки игры этими пользователями.

Продвижение медцентров и клиник: три кейса о SEO, TikTok и Instagram*

Как получить измеримые результаты в фарммаркетинге.

Показываем на примерах →

Спецпроект

На графике ниже — отчёт по качеству прогнозов для команды медиабаинга, позволяющий постфактум убедиться, что прогнозы и решения, принятые на их основе, были верны.

Технология

Разработанный инструмент предиктивной аналитики нацелен на прогнозирование самого сложного показателя — LTV 90 дня в разрезе каждого пользователя. Это позволяет видеть любую, даже самую экзотическую группу без значительной вычислительной нагрузки.

Решение об отключении неэффективного канала должно приниматься как можно раньше и на основе максимально точных данных. Но цена ошибок недо- и переоценки неодинакова, и в нашем случае мы исходили из того, что лучше недооценить пользователя.

Для прогнозирования использовались данные о длительности пребывания пользователя в игровом приложении, о его платежах и устройстве, а также социально-демографические характеристики.

Поскольку в играх доля платящих пользователей невелика (может варьироваться от 1 до 10% в зависимости от региона, жанра и внутренних механизмов монетизации), качество прогноза LTV ухудшалось из-за «длинного хвоста» неплатящих игроков.

Эта проблема решалась семплированием неплатящих и добавлением признака «вероятность заплатить». На кросс-валидации классификатор «платящие — неплатящие» продемонстрировал довольно хорошие результаты (70% recall (полнота) и 95% ROC AUC), и предсказанные вероятности коррелировали с платежами.

Отдельной проблемой был учёт многочисленных категориальных признаков. Здесь на помощь пришла техника кодирования значений категориальных признаков средним: например, для каждой страны на основе исторических данных высчитывалась доля платящих пользователей из этой страны.

В итоге нам удалось получить алгоритм, который предсказывает LTV, а заодно и вероятность того, что конкретный пользователь будет платить.

На графике ниже представлено распределение реального LTV когорты пользователей игрового приложения и прогноза LTV с помощью модели случайного леса.

Мы рассматривали также возможность прогнозирования LTV по срезу (например, «приложение — страна» или «приложение — кампания — партнёр») на основе линейных моделей или более сложных — градиентного бустинга, случайного леса, пуассоновской регрессии и других: для этого достаточно иметь данные о динамике агрегированных платежей за первую неделю взаимодействия пользователя с приложением.

Таким образом, у нас в распоряжении окажется прогноз LTV для сегмента пользователей, и по этому прогнозу можно судить о целесообразности привлечения соответствующего трафика. На кросс-валидации для разных приложений удалось спрогнозировать LTV по сегменту с относительной ошибкой от 0 до 25%.

Как это работает

В общих чертах процесс работы созданной предиктивной модели выглядит так.

Накопление данных для обучения модели. На это требуется минимум два-три месяца с момента начала сбора данных через SDK и запуска трафика на проект. Для определения необходимого объёма данных (как по времени, так и по числу платежей) строятся кривые валидации, по которым для каждого приложения автоматически определяются свои константы — минимальный размер выборки (число платежей и событий). Для анализа стабильности прогнозов модели строятся доверительные интервалы на основе bootstrap и высчитывается их дисперсия.
Первичное обучение и валидация модели (подбор и валидация моделей и их гиперпараметров, исключение лишних признаков). Нам требуется получить несколько моделей, поскольку прогнозирование и уточнение метрик происходит на 1-й, 2-й, 3-й, 7-й, 14-й и 21-й день с момента регистрации пользователя, и для каждого дня необходима отдельная модель. Чтобы ускорить вычисления, мы оцениваем важность признаков на основе случайного леса и градиентного бустинга и выбираем топ самых значимых признаков. Для определения лучшей модели на данный момент времени используется модифицированный критерий MAPE + sMAPE. Гиперпараметры моделей настраиваются на временной кросс-валидации. Сегодня для оценки моделей по всем дням и на всех игровых проектах Mail.Ru Group используется целый ряд моделей, но чаще по точности побеждает градиентный бустинг или случайный лес.
Использование модели. После определения оптимальных настроек моделей можно начать их применение. В конце каждого дня выполняется первая итерация вычисления прогнозов для каждого пользователя, установившего приложение в течение предыдущих суток. Далее уточняются прогнозы для когорт пользователей, для которых наступил 2-й, 3-й и последующие дни после установки игры. Уточнение прогнозов происходит за счёт новых данных, приходящих ежедневно, — новых платежей пользователей, их сессий, запусков приложений и так далее.
Добавление данных и дообучение модели. Каждый день мы добавляем новые данные к обучающей выборке и еженедельно анализируем качество модели. При ухудшении качества мы перевзвешиваем объекты в выборке в соответствии с наблюдаемым трендом изменения платежей и заново обучаем модель. Дообучение также проводится при резком изменении метрик проекта (как правило, вследствие внедрения новой функциональности, механик, либо при выходе на новые рынки).

Итоги

Инструмент прогнозирования LTV, разработанный в компании, помогает Mail.Ru Group оптимизировать бюджет, выделенный на продвижение игр. Использование предиктивных моделей позволило сэкономить до 20% маркетингового бюджета: ранее эти деньги уходили на кампании, которые приводили в игру неплатящих или просто нерелевантных пользователей, но узнавали мы об этом по факту, то есть через несколько недель, когда оставалось только фиксировать убытки.

Кроме того, удалось сэкономить до 15% времени сотрудников отдела закупки: прежде они были вынуждены самостоятельно анализировать и фактически пытаться угадать уровень качества трафика по данным за две-четыре недели. Таким образом, благодаря предиктивной аналитике мы вышли на качественно новый уровень эффективности в маркетинге.