Алгоритм проведения АБ тестов

Заморочился и проанализировал статистику за последние пол года - 250+ проведённых АБ тестов в женской и мужской одежде. Значит что я вам имею рассказать:

💡 CTR зависит от времени суток. Ночью - выше. Уж не знаю кому слать пламенные приветы - дальневосточникам или парсерам всевозможных сервисов.

💡 Конверсия в корзину тоже зависит от времени суток и довольно сильно.

💡 А вот зависимости от дня недели у конверсии в корзину практически нет. Ну или она не так ярко выражена, как по часам.

В итоге, всем кто проводит АБ тесты мои рекомендации:

❗️ АБ тесты крутим только со сменой воронок по времени и сравниваем строго полные сутки.

❗️ АБ тесты крутим с включенной автостратегией по удержанию позиции. Не меняем состав кластеров на всё время АБ теста. Если запустили АБ тест и с полками и с поиском - так и крутим.

❗️ Отклонение между комплектами в пределах +-1% по конверсии из перехода в корзину считать погрешностью