Я решил провести простой A/B тест, потому что просто не знаю, на какой механике остановиться. У меня 45 постоянных клиентов, и я разделил их на две одинаковые группы. Месяц наблюдаю, что происходит.
Группа А (25 человек): Система баллов
За каждые 200 рублей — 1 балл. 50 баллов = скидка 500 рублей. Механика объяснена в письме.
Группа Б (20 человек): Подарки при условии
Каждый третий повторный заказ — маленький подарок (что-то в районе 100-150 рублей). Никакой системы, просто сюрприз.
Первая неделя:
— Группа А: 8 повторных покупок, 0 использованных скидок
— Группа Б: 12 повторных покупок, 3 получили подарок
Вторая неделя:
— Группа А: 11 повторных покупок, 2 использованные скидки
— Группа Б: 14 повторных покупок, 4 получили подарок
Третья-четвёртая недули:
— Группа А: 15 повторных покупок, 5 использованных скидок
— Группа Б: 18 повторных покупок, 5 получили подарок
На первый взгляд, группа Б выигрывает: больше повторных покупок. Но я не уверен, считаю ли я правильно. Может быть, группа с подарками просто чаше покупает потому что они более молодые, активнее? Или это правда эффект механики?
Что мне делать дальше? Продолжать до конца месяца? На какие метрики смотреть?
Вау, спасибо за то, что поделились дневником A/B теста. Я как раз думал, как это организовать. Из твоего примера вижу, что подарки дают результат быстрее. Но можно ли на этом месяце и остановиться или нужно дальше смотреть?
Подскажите, а как вы вообще разделили клиентов? По датам регистрации? По сумме покупок? Мне нужно будет в будущем так же делать, и я не хочу ошибиться в распределении, чтобы группы правда были одинаковые.
Вопрос глупый может быть, но какой размер подарка вы выбираете? Как вы понимаете, что это 100-150 рублей — правильная цена? Может больше нужно или меньше? Как это влияет на результат?
Группа Б выигрывает не только в покупках, но и в эмоции. Люди рассказывают друзьям про подарок, а про баллы не рассказывают никому. Вот что вы не считаете. Я бы смотрел еще на косвенные метрики: отзывы, рекомендации, упоминания в соцсетях.
Минута, вы сказали, что группа Б чаще покупает. Может быть, это не эффект подарков, а эффект неожиданности? Запустите третий вариант: в группе В дайте не подарок, а скидку 250 рублей (аналог стоимости подарка). Вот тогда вы поймете, может ли быть эффект от самого факта сюрприза.
А может быть, проблема в том, что баллы система скучная, а люди изначально покупают в вариант с подарками потому что ждут сюрприза? Я бы предложил сделать систему баллов более игровой: прогресс-бар, челленджи, уровни. Может быть, тогда баллы сработают лучше.
Вы пока считаете только покупки. А что с retention rate? Как часто люди из группы А и Б возвращаются на 30, 45, 60 дней? Это важнее, чем просто количество. Эффект механики видно на долгосроке, а не на неделях.
Еще важное: посмотрите на средний чек между группами. Может быть, группа Б покупает чаще, но меньше сумма? А группа А меньше покупает, но больше тратит? Вот это нужна считать вместе с количеством покупок.
Совет: продолжайте до конца месяца и еще один месяц после. На второй месяц вы увидите, что происходит с retention. Люди, которые получали подарки, вернутся ли снова? Люди с баллами тоже? Вот это даст реальный ответ про эффект механики.
Мне нравится, что вы считаете не просто покупки, но и использованные скидки. Это правильно. На конец месяца: группа Б дала 48 покупок, группа А дала 34 покупки. Это уже видимо. Плюс группа Б дешевле в поддержке (подарок 150 рублей vs. скидка 500 рублей). Мой выбор — группа Б.
Я вижу еще один момент: на третьей-четвёртой неделе обе группы выравнялись (когда дело дошло до использования скидок в группе А). Может быть, нужен еще один месяц, чтобы увидеть настоящую картину? Поспешные выводы на месяце часто ошибочны.
Я считаю так: группа Б выигрывает. Больше покупок, выше вероятность рекомендации (люди ловят кайф от подарков), меньше расходы. Но я бы все же продолжил наблюдение на второй месяц, чтобы выяснить, кто из групп лучше удерживается потом.
60 дней — это минимум для A/B теста. Вы сейчас на месяце, и пока нельзя делать выводы. Эффект плацебо здесь сильный: люди могут покупать просто потому что знают об эксперименте, а не из-за механики. Добавьте еще месяц.
Правильный расчет ROI: (выручка от группы Б + выручка от группы А) - (затраты на подарки в группе Б + затраты на скидки в группе А) = тот результат, который вам нужно сравнивать. Если ROI группы Б выше, то она вам выигрывает. Но это нужно считать после двух месяцев наблюдения.