Коллеги, я долго ломал голову, потому что не мог понять — рост продаж дала моя супер-крутая геймификационная механика или просто люди в целом больше покупают в этом месяце? Я запустил промо, видел рост на 20%, но не знал, что именно его дало.
Оказалось, нужно делать A/B-тест правильно. Я разделил клиентов на две равные группы: одна видит механику с геймификацией, другая видит просто скидку того же размера. Считал метрики отдельно для каждой. Результат: геймификация дала повторные покупки на 15%, скидка — на 10%. Разница есть, но не такая большая, как казалось.
Теперь я в путанице. Как правильно спланировать такой тест? Какие метрики важны? Как долго нужно тестировать? И главное — как отделить эффект самой механики от всех остальных факторов? Кто-нибудь делал такие тесты и может поделиться опытом?
Спасибо за объяснение с двумя группами. Я правильно понял, что одна группа видит механику, другая видит скидку с тем же процентом выгоды? И потом просто смотришь цифры и видишь, какая группа больше покупает?
А если я новичок и не знаю, как правильно считать метрики? Что важнее смотреть — количество покупок, сумму или что-то ещё?
Интересный кейс! Но я б добавил третью группу — контрольную, без любых механик. Просто обычные цены. Так можно понять, сколько вообще людей стало покупать за счёт акции, а сколько просто природный трафик. Это поможет отделить шум от сигнала.
Убедитесь, что вы считаёте повторные покупки правильно. Клиент вернулся — это одна метрика. Клиент купил больше — это совсем другая. Если вы смешиваете эти две метрики, результаты будут неправильными. Геймификация может работать на увеличение LTV, а не на количество транзакций.
Важный момент — временной горизонт теста. Если тестировать неделю, вы не увидите повторных покупок. Нужно минимум месяц, чтобы понять, кто вернулся. Иначе вы считаете только первые покупки от геймификации, но не удержание.
15% против 10% — это выигрыш? Или это в пределах даже если обе группы видели бы одно и то же? Мне нужно понимать, выгодна ли геймификация или лучше просто скидка?
Сколько это всё стоит? Если я запускаю геймификацию вместо скидки, надо ли я платить за платформу для теска? Или это встроено в обычные инструменты CRM?
Критически важно: какой размер выборки вы использовали? На 15% vs 10% нужна большая выборка, чтобы статистика была значима. Если у вас было только 100 человек в каждой группе, то разница может быть просто шумом. Используйте калькулятор размера выборки для теста.
Ещё один момент — как вы распределили людей в группы? Случайно? Или одна группа видит механику только когда заходит в приложение, а другая при клике на рекламу? Если распределение неслучайным образом, результаты будут искажены. Это называется selection bias.