Этот проект состоит из 2 частей. В первой части с помощью фреймворков ICE и RICE из списка гипотез выбираются самые перспективные. Вторая часть представляет собой анализ проведенного A/B-теста.
План:
Итог:
На текущий момент видим, что:
-
Кумулятивная выручка группы B на 10-20% выше, чем группы А, но статистическая разность не подтверждается
-
Отношение средних чеков колеблется вокруг 1 и статистически значимой разницы нет
-
Средний доход на покупателя тоже не сильно отличается
-
Конверсия группы В статистически отличима от конверсии контрольной группы и на 15-25% ее выше, хотя в последнее время отношение идет на убыль
Несмотря на снижение отношения конверсий, я считаю, что можно прекращать эксперимент. Разницы между средними чеками нет, а конверсия на 15-25% выше у группы В.
Структура данных:
Список гипотез для первой части находится в файле hypothesis.csv:
-
Hypothesis- описание гипотезы -
Reach- охват пользователей по шкале от 1 до 10 -
Impact- влияние на пользователей по шкале от 1 до 10 -
Confidence- уверенность в гипотезе по шкале от 1 до 10 -
Efforts- сложность реализации гипотезы по шкале от 1 до 10
Информация о пользователях в A/B-тесте содержится в файле visitors.csv:
-
date- дата посещения -
group- группа теста (A или B) -
visitors- количество пользователей в указанную дату в указанной группе A/B-теста
Заказы пользователей в A/B-тесте находятся в файле orders.csv:
-
transactionId- уникальный идентификатор заказа -
visitorId- уникальный идентификатор пользователя -
date- дата заказа -
revenue- выручка от заказа -
group- группа теста (A или B)