А/Б-тесты, так ли это хорошо?
Сегодня с новостями, которые заставили задуматься о бренном, а именно, активно обсуждаемыми, но так ли полезными А/Б-тестами...
КАН нынче научился для ваших агентов возвращать историю изменения карточек и рекламных кампаний (по рк, пока, мало данных...). Теперь вы можете задать вопросы, например, какие карточки менялись за предыдущую неделю, что именно менялось и с какой частотой?
А к полученной истории можно уже задать вопрос, и к чему же эти изменения привели? Как поменялась тенденция конверсионной воронки?
На скриншотах показываю выводы агента по магазину, …
📊Культура Аналитики с Александром Румянцевым @kultura_analitiki
А/Б-тесты, так ли это хорошо?
Сегодня с новостями, которые заставили задуматься о бренном, а именно, активно обсуждаемыми, но так ли полезными А/Б-тестами...
КАН нынче научился для ваших агентов возвращать историю изменения карточек и рекламных кампаний (по рк, пока, мало данных...). Теперь вы можете задать вопросы, например, какие карточки менялись за предыдущую неделю, что именно менялось и с какой частотой?
А к полученной истории можно уже задать вопрос, и к чему же эти изменения привели? Как поменялась тенденция конверсионной воронки?
На скриншотах показываю выводы агента по магазину, который тестирует несколько карточек, о чем ни КАН, ни агент исходно не знают.
Так как я смотрел только на эти выводы, то обратил внимание, что конверсии подскочили, где идут активные смены главного фото и видео-обложки. Это, вроде бы, указывает, что а/б-тесты работают, улучшают конверсии.
Но! Я вспомнил разборы магазинов, которые мы с вами проводили в прямом эфире, и там тоже после смены главного фото часто менялась конверсия, обычно она подскакивала на 1-2 дня, а вот на 3 день, конверсия каждый раз сглаживалась, и, не редко, падала ниже исходной.
Так к чему я это все?! Сегодняшние а/б-тесты гоняют цикл фотографии, набирая по 1000 рекламных показов, основываясь на рекламной статистике. Из рекламных "кликов" показывают конверсию, которую и считают за истину. И вот здесь есть ньюансы, о которых я ранее не задумывался:
* Клики - это не только клики, а еще свайпы, избранное и корзина. На Озоне точно так.
* Конверсия выравнивается спустя 2-3 дня и вы не можете на это влиять, да и контролировать сложно.
Резюмирую:
* Большинство смен главной картинки на несколько дней повышают конверсию.
* Конверсия после 3 дня может серьезно упасть, гораздо ниже исходного показателя.
* CTR, по которому сравнивают победителя, конкретно на Озон, крайне мутная метрика.
* Вы, чаще всего, не контролируете конверсию спустя несколько дней.
Какие возможности сейчас появились у пользователей КАН:
* Вы можете самостоятельно проводить тесты, а точнее контролировать последствия изменений большинства показателей карточки в любое время, хоть по итогу месяца или квартала.
* Вы можете контролировать показатели активности ваших менеджеров, управляли они карточками или рекламой в определенный период или нет. Тут как в анекдоте, бегали слоники или нет...
* Вы можете это делать за десят минут задав пару вопросов в привычный чат.
* Вы можете создать свой сценарий проверки, с контролем дополнительных метрик, остатков, запросов, позиций, цены с привычной формой отчета и флагов.
* Подключить можно за 10 минут через инструкцию в разделе КАН - Аккаунт - MCP-сервер. 7 бесплатных демо-дней включено для каждого.
А вы контролировали период остывания после а/б-тестирования?
@kultura_analitiki
Сегодня с новостями, которые заставили задуматься о бренном, а именно, активно обсуждаемыми, но так ли полезными А/Б-тестами...
КАН нынче научился для ваших агентов возвращать историю изменения карточек и рекламных кампаний (по рк, пока, мало данных...). Теперь вы можете задать вопросы, например, какие карточки менялись за предыдущую неделю, что именно менялось и с какой частотой?
А к полученной истории можно уже задать вопрос, и к чему же эти изменения привели? Как поменялась тенденция конверсионной воронки?
На скриншотах показываю выводы агента по магазину, который тестирует несколько карточек, о чем ни КАН, ни агент исходно не знают.
Так как я смотрел только на эти выводы, то обратил внимание, что конверсии подскочили, где идут активные смены главного фото и видео-обложки. Это, вроде бы, указывает, что а/б-тесты работают, улучшают конверсии.
Но! Я вспомнил разборы магазинов, которые мы с вами проводили в прямом эфире, и там тоже после смены главного фото часто менялась конверсия, обычно она подскакивала на 1-2 дня, а вот на 3 день, конверсия каждый раз сглаживалась, и, не редко, падала ниже исходной.
Так к чему я это все?! Сегодняшние а/б-тесты гоняют цикл фотографии, набирая по 1000 рекламных показов, основываясь на рекламной статистике. Из рекламных "кликов" показывают конверсию, которую и считают за истину. И вот здесь есть ньюансы, о которых я ранее не задумывался:
* Клики - это не только клики, а еще свайпы, избранное и корзина. На Озоне точно так.
* Конверсия выравнивается спустя 2-3 дня и вы не можете на это влиять, да и контролировать сложно.
Резюмирую:
* Большинство смен главной картинки на несколько дней повышают конверсию.
* Конверсия после 3 дня может серьезно упасть, гораздо ниже исходного показателя.
* CTR, по которому сравнивают победителя, конкретно на Озон, крайне мутная метрика.
* Вы, чаще всего, не контролируете конверсию спустя несколько дней.
Какие возможности сейчас появились у пользователей КАН:
* Вы можете самостоятельно проводить тесты, а точнее контролировать последствия изменений большинства показателей карточки в любое время, хоть по итогу месяца или квартала.
* Вы можете контролировать показатели активности ваших менеджеров, управляли они карточками или рекламой в определенный период или нет. Тут как в анекдоте, бегали слоники или нет...
* Вы можете это делать за десят минут задав пару вопросов в привычный чат.
* Вы можете создать свой сценарий проверки, с контролем дополнительных метрик, остатков, запросов, позиций, цены с привычной формой отчета и флагов.
* Подключить можно за 10 минут через инструкцию в разделе КАН - Аккаунт - MCP-сервер. 7 бесплатных демо-дней включено для каждого.
А вы контролировали период остывания после а/б-тестирования?
На скриншотах Cherry Studio, где вы можете подключать большинство известных моделей и создать свой виртуальный офис, который будет вести всю аналитику через MCP-сервер КАН и вовремя вас уведомлять, а где-то и сразу выполнять задания. Инструкция настройки есть на странице MCP-сервера.
@kultura_analitiki