0 added
0 removed
Original
2026-01-01
Modified
2026-02-21
1
<p><a>#статьи</a></p>
1
<p><a>#статьи</a></p>
2
<ul><li>4 авг 2023</li>
2
<ul><li>4 авг 2023</li>
3
<li>0</li>
3
<li>0</li>
4
</ul><p>Рассказываем, как провести A/B-тестирование без программирования и что учесть, чтобы получить достоверный результат.</p>
4
</ul><p>Рассказываем, как провести A/B-тестирование без программирования и что учесть, чтобы получить достоверный результат.</p>
5
<p>Кадр: фильм "RRR" / DVV Entertainment</p>
5
<p>Кадр: фильм "RRR" / DVV Entertainment</p>
6
<p>Шеф-редактор направлений "Маркетинг", "Управление", "Бизнес", "Деньги" Skillbox Media. В прошлом отраслевой журналист и владелец небольшого нишевого ютуб-канала.</p>
6
<p>Шеф-редактор направлений "Маркетинг", "Управление", "Бизнес", "Деньги" Skillbox Media. В прошлом отраслевой журналист и владелец небольшого нишевого ютуб-канала.</p>
7
<p>A/B-тестирование - один из самых популярных методов исследования в маркетинге, UX, управлении проектами и продуктами. А ещё это востребованный навык - только на HeadHunter в июле 2023 года было более 500 вакансий, в которых от соискателей требовали владения методами A/B-тестирования.</p>
7
<p>A/B-тестирование - один из самых популярных методов исследования в маркетинге, UX, управлении проектами и продуктами. А ещё это востребованный навык - только на HeadHunter в июле 2023 года было более 500 вакансий, в которых от соискателей требовали владения методами A/B-тестирования.</p>
8
<p>Прочитайте эту статью Skillbox Media, чтобы узнать, что такое A/B-тестирование, и научиться его проводить.</p>
8
<p>Прочитайте эту статью Skillbox Media, чтобы узнать, что такое A/B-тестирование, и научиться его проводить.</p>
9
<ul><li>Что такое<a>A/B-тестирование</a></li>
9
<ul><li>Что такое<a>A/B-тестирование</a></li>
10
<li>Зачем его<a>используют</a></li>
10
<li>Зачем его<a>используют</a></li>
11
<li><a>Как проходит</a>A/B-тестирование</li>
11
<li><a>Как проходит</a>A/B-тестирование</li>
12
<li>Как запустить A/B-тестирование<a>в сервисе Varioqub</a></li>
12
<li>Как запустить A/B-тестирование<a>в сервисе Varioqub</a></li>
13
<li>Как<a>избежать ошибок</a></li>
13
<li>Как<a>избежать ошибок</a></li>
14
</ul><p>A/B-тестирование, или сплит-тестирование, - это метод исследования, при котором сравнивают эффективность двух вариантов какого-то объекта, например страницы сайта. Эти варианты показывают аудитории и оценивают, на какой из них люди реагируют лучше.</p>
14
</ul><p>A/B-тестирование, или сплит-тестирование, - это метод исследования, при котором сравнивают эффективность двух вариантов какого-то объекта, например страницы сайта. Эти варианты показывают аудитории и оценивают, на какой из них люди реагируют лучше.</p>
15
<p>Цель метода - понять, какое изменение приведёт к лучшему результату, например к росту<a>конверсии</a>. Метод используют в следующих случаях:</p>
15
<p>Цель метода - понять, какое изменение приведёт к лучшему результату, например к росту<a>конверсии</a>. Метод используют в следующих случаях:</p>
16
<ul><li>нужно улучшить показатели, и есть предположения, как это сделать;</li>
16
<ul><li>нужно улучшить показатели, и есть предположения, как это сделать;</li>
17
<li>в команде есть разные мнения о том, что и как нужно изменить;</li>
17
<li>в команде есть разные мнения о том, что и как нужно изменить;</li>
18
<li>клиент предлагает изменения, но нет уверенности, что они пойдут на пользу;</li>
18
<li>клиент предлагает изменения, но нет уверенности, что они пойдут на пользу;</li>
19
<li>нужно доказать эффективность нового инструмента или новой версии продукта.</li>
19
<li>нужно доказать эффективность нового инструмента или новой версии продукта.</li>
20
</ul><p>Во всех этих ситуациях сплит-тестирование позволит принять решение, опираясь не на мнения, а на данные. Это называется data-driven-подходом.</p>
20
</ul><p>Во всех этих ситуациях сплит-тестирование позволит принять решение, опираясь не на мнения, а на данные. Это называется data-driven-подходом.</p>
21
<p><strong>Разберём, как работает A/B-тестирование, на примере.</strong>Конверсия страницы сайта сейчас - 5%. Маркетолог предполагает, что, если изменить цвет кнопки "Купить" с зелёного на синий, конверсия вырастет до 7%.</p>
21
<p><strong>Разберём, как работает A/B-тестирование, на примере.</strong>Конверсия страницы сайта сейчас - 5%. Маркетолог предполагает, что, если изменить цвет кнопки "Купить" с зелёного на синий, конверсия вырастет до 7%.</p>
22
<p>Чтобы проверить это предположение, маркетолог использует специальный сервис - например, AB Tasty. Сервис распределяет трафик так, что половина посетителей страницы видят старую её версию, а половина - новую, с синей кнопкой "Купить". Через три недели маркетолог сравнивает результаты. Конверсия старой версии страницы - 5%, а новой - 7,5%.</p>
22
<p>Чтобы проверить это предположение, маркетолог использует специальный сервис - например, AB Tasty. Сервис распределяет трафик так, что половина посетителей страницы видят старую её версию, а половина - новую, с синей кнопкой "Купить". Через три недели маркетолог сравнивает результаты. Конверсия старой версии страницы - 5%, а новой - 7,5%.</p>
23
<p>Маркетолог ставит задачу разработчикам, и цвет кнопки меняют. Благодаря этому компания зарабатывает больше - она тратит на привлечение трафика столько же, сколько раньше, но получает в полтора раза больше продаж.</p>
23
<p>Маркетолог ставит задачу разработчикам, и цвет кнопки меняют. Благодаря этому компания зарабатывает больше - она тратит на привлечение трафика столько же, сколько раньше, но получает в полтора раза больше продаж.</p>
24
<p>Есть близкие методы - A/B/C-тестирование и A/B/C/D-тестирование. Их отличие от A/B-тестирования в том, что за один раз сравнивают не два, а три или четыре варианта.</p>
24
<p>Есть близкие методы - A/B/C-тестирование и A/B/C/D-тестирование. Их отличие от A/B-тестирования в том, что за один раз сравнивают не два, а три или четыре варианта.</p>
25
<p>Главная цель A/B-тестирования - понять, какой вариант продукта или объекта позволит бизнесу зарабатывать больше. В разных отраслях метод используют для улучшения разных объектов.</p>
25
<p>Главная цель A/B-тестирования - понять, какой вариант продукта или объекта позволит бизнесу зарабатывать больше. В разных отраслях метод используют для улучшения разных объектов.</p>
26
<p>Маркетологи используют сплит-тестирование, чтобы найти наиболее эффективный вариант текста объявления, призыва к действию на странице сайта, заголовка лид-формы во "ВКонтакте" и так далее. Метод A/B-тестирования используют для исследования рекламы, воронок продаж, сайта.</p>
26
<p>Маркетологи используют сплит-тестирование, чтобы найти наиболее эффективный вариант текста объявления, призыва к действию на странице сайта, заголовка лид-формы во "ВКонтакте" и так далее. Метод A/B-тестирования используют для исследования рекламы, воронок продаж, сайта.</p>
27
<p>Продакт-менеджерам A/B-тестирование нужно для развития продукта. Например, с его помощью они могут понять, как доработать сервис, чтобы он нравился пользователям. А чем больше продукт нравится пользователям, тем больше денег он может принести.</p>
27
<p>Продакт-менеджерам A/B-тестирование нужно для развития продукта. Например, с его помощью они могут понять, как доработать сервис, чтобы он нравился пользователям. А чем больше продукт нравится пользователям, тем больше денег он может принести.</p>
28
<p>Дизайнеры используют тестирование, чтобы улучшать интерфейс приложений, сайтов и сервисов. Например, с помощью метода можно понять, какой дизайн корзины или карточек товаров приносит больше продаж.</p>
28
<p>Дизайнеры используют тестирование, чтобы улучшать интерфейс приложений, сайтов и сервисов. Например, с помощью метода можно понять, какой дизайн корзины или карточек товаров приносит больше продаж.</p>
29
<p>Для аналитиков A/B-тестирование - один из множества инструментов оценки эффективности сайтов, приложений, рекламы. Аналитики проводят A/B-тесты, чтобы помочь маркетологам подтвердить или опровергнуть их предположения.</p>
29
<p>Для аналитиков A/B-тестирование - один из множества инструментов оценки эффективности сайтов, приложений, рекламы. Аналитики проводят A/B-тесты, чтобы помочь маркетологам подтвердить или опровергнуть их предположения.</p>
30
<p>Обучение в Skillbox для тех, кто хочет освоить аналитику</p>
30
<p>Обучение в Skillbox для тех, кто хочет освоить аналитику</p>
31
<ul><li>"<a>A/B-тестирование</a>" - научиться формировать гипотезы, определять метрики, анализировать результаты - и зарабатывать больше за счёт этих навыков.</li>
31
<ul><li>"<a>A/B-тестирование</a>" - научиться формировать гипотезы, определять метрики, анализировать результаты - и зарабатывать больше за счёт этих навыков.</li>
32
<li>"<a>Профессия Веб-аналитик</a>" - прокачать навыки до уровня senior: освоить автоматизацию, визуализацию и язык запросов SQL.</li>
32
<li>"<a>Профессия Веб-аналитик</a>" - прокачать навыки до уровня senior: освоить автоматизацию, визуализацию и язык запросов SQL.</li>
33
<li>"<a>Профессия Маркетолог-аналитик</a>" - автоматизировать анализ данных и оценивать эффективность рекламы в онлайне и офлайне.</li>
33
<li>"<a>Профессия Маркетолог-аналитик</a>" - автоматизировать анализ данных и оценивать эффективность рекламы в онлайне и офлайне.</li>
34
</ul><p>Чтобы сравнить два варианта объекта, нужно сформулировать гипотезу, определить метрики, рассчитать размер выборки, запустить тест и проанализировать результаты. Разберём каждый этап подробнее.</p>
34
</ul><p>Чтобы сравнить два варианта объекта, нужно сформулировать гипотезу, определить метрики, рассчитать размер выборки, запустить тест и проанализировать результаты. Разберём каждый этап подробнее.</p>
35
<p><strong>Формулирование гипотезы.</strong>Гипотеза в A/B-тестировании - предположение о том, какой вариант объекта принесёт лучший результат. Чтобы сформулировать её, сначала нужно проанализировать текущую ситуацию, найти то, что можно изменить, и понять, как это может сказаться на эффективности.</p>
35
<p><strong>Формулирование гипотезы.</strong>Гипотеза в A/B-тестировании - предположение о том, какой вариант объекта принесёт лучший результат. Чтобы сформулировать её, сначала нужно проанализировать текущую ситуацию, найти то, что можно изменить, и понять, как это может сказаться на эффективности.</p>
36
<p>Обычно гипотезу составляют по простой формуле: "вариант B работает лучше, чем вариант A". Такая гипотеза называется альтернативной. Например, конверсия в заполнение формы - 4%. Маркетолог предположил, что, если упростить форму, её будут заполнять чаще. Гипотеза может звучать так: упрощённая конверсионная форма работает лучше обычной.</p>
36
<p>Обычно гипотезу составляют по простой формуле: "вариант B работает лучше, чем вариант A". Такая гипотеза называется альтернативной. Например, конверсия в заполнение формы - 4%. Маркетолог предположил, что, если упростить форму, её будут заполнять чаще. Гипотеза может звучать так: упрощённая конверсионная форма работает лучше обычной.</p>
37
<p>Также формулируют нулевую гипотезу - это обратное предположение. Оно звучит так: "Вариант A работает лучше, чем вариант B". В нашем примере гипотеза будет такая: обычная конверсионная форма (старая) работает лучше упрощённой (новой).</p>
37
<p>Также формулируют нулевую гипотезу - это обратное предположение. Оно звучит так: "Вариант A работает лучше, чем вариант B". В нашем примере гипотеза будет такая: обычная конверсионная форма (старая) работает лучше упрощённой (новой).</p>
38
<p>Только когда мы опровергнем нулевую гипотезу, сможем принять альтернативную - о том, что новый вариант работает лучше старого. Две гипотезы используют, чтобы не возникало ситуаций, когда тестовый вариант вводят не потому что он лучше работает, а потому что он новый. Новое не всегда лучше старого.</p>
38
<p>Только когда мы опровергнем нулевую гипотезу, сможем принять альтернативную - о том, что новый вариант работает лучше старого. Две гипотезы используют, чтобы не возникало ситуаций, когда тестовый вариант вводят не потому что он лучше работает, а потому что он новый. Новое не всегда лучше старого.</p>
39
<p><strong>Определение метрик.</strong>На этом этапе определяют показатели, по которым будут сравнивать эффективность вариантов. Подойдут только количественные метрики.</p>
39
<p><strong>Определение метрик.</strong>На этом этапе определяют показатели, по которым будут сравнивать эффективность вариантов. Подойдут только количественные метрики.</p>
40
<p>Количественные метрики выражены в цифрах. К ним относятся, например, CTR, CPA, LTV, ER. К количественным метрикам можно применить метод статистического анализа и понять, достоверны ли итоги сплит-тестирования. К качественным метрикам метод статистического анализа применить нельзя.</p>
40
<p>Количественные метрики выражены в цифрах. К ним относятся, например, CTR, CPA, LTV, ER. К количественным метрикам можно применить метод статистического анализа и понять, достоверны ли итоги сплит-тестирования. К качественным метрикам метод статистического анализа применить нельзя.</p>
41
<p>Приведём пример гипотезы с метрикой: упрощённая конверсионная форма получит коэффициент конверсии на 3% выше, чем текущая.</p>
41
<p>Приведём пример гипотезы с метрикой: упрощённая конверсионная форма получит коэффициент конверсии на 3% выше, чем текущая.</p>
42
<p><strong>Расчёт размера выборки.</strong>Размер выборки - это количество пользователей, которым покажут разные варианты объекта. От размера выборки зависит достоверность результатов A/B-тестирования: если пользователей слишком мало, результат теста может быть случайностью.</p>
42
<p><strong>Расчёт размера выборки.</strong>Размер выборки - это количество пользователей, которым покажут разные варианты объекта. От размера выборки зависит достоверность результатов A/B-тестирования: если пользователей слишком мало, результат теста может быть случайностью.</p>
43
<p>Рассчитать размер выборки для сплит-тестирования, в котором сравнивают конверсию вариантов, можно в специальных калькуляторах<a>от Mindbox</a>или<a>от Evan Miller</a>. В них нужно указать число вариантов в тесте, текущие показатели конверсии и ожидаемый прирост. Сервисы покажут, сколько всего пользователей нужно и сколько пользователей должны увидеть каждый вариант.</p>
43
<p>Рассчитать размер выборки для сплит-тестирования, в котором сравнивают конверсию вариантов, можно в специальных калькуляторах<a>от Mindbox</a>или<a>от Evan Miller</a>. В них нужно указать число вариантов в тесте, текущие показатели конверсии и ожидаемый прирост. Сервисы покажут, сколько всего пользователей нужно и сколько пользователей должны увидеть каждый вариант.</p>
44
Так выглядит калькулятор для расчёта размера выборки<em>Скриншот: Mindbox / Skillbox Media</em><p>Для A/B-тестирования с другими метриками можно использовать другие калькуляторы. Они рассчитывают необходимый размер выборки, основываясь на том, какую точность вы хотите получить, какую погрешность можете допустить и какая у вас общая аудитория.</p>
44
Так выглядит калькулятор для расчёта размера выборки<em>Скриншот: Mindbox / Skillbox Media</em><p>Для A/B-тестирования с другими метриками можно использовать другие калькуляторы. Они рассчитывают необходимый размер выборки, основываясь на том, какую точность вы хотите получить, какую погрешность можете допустить и какая у вас общая аудитория.</p>
45
<p>В целом чем больше размер выборки, тем лучше. Для теста обычно берут 2-30% от генеральной совокупности пользователей. Генеральная совокупность - все пользователи, которые взаимодействуют с объектом. Например, число посетителей сайта в месяц или число активных пользователей сервиса.</p>
45
<p>В целом чем больше размер выборки, тем лучше. Для теста обычно берут 2-30% от генеральной совокупности пользователей. Генеральная совокупность - все пользователи, которые взаимодействуют с объектом. Например, число посетителей сайта в месяц или число активных пользователей сервиса.</p>
46
<p><strong>Запуск тестирования.</strong>Есть четыре способа запустить тест: с помощью встроенного инструмента, вручную, в специальных сервисах или с помощью программирования. Разберём их подробнее.</p>
46
<p><strong>Запуск тестирования.</strong>Есть четыре способа запустить тест: с помощью встроенного инструмента, вручную, в специальных сервисах или с помощью программирования. Разберём их подробнее.</p>
47
<p><strong>Встроенные инструменты.</strong>Они есть в некоторых рекламных системах. Если включить функцию тестирования, система сама распределит трафик между вариантами кампаний или объявлений и посчитает результаты.</p>
47
<p><strong>Встроенные инструменты.</strong>Они есть в некоторых рекламных системах. Если включить функцию тестирования, система сама распределит трафик между вариантами кампаний или объявлений и посчитает результаты.</p>
48
<p>Например, в "Яндекс Директе" есть инструмент под названием "эксперименты". Настроить эксперимент можно в "Яндекс Аудиториях". Подробнее о процессе написано<a>в блоге "Яндекса"</a>.</p>
48
<p>Например, в "Яндекс Директе" есть инструмент под названием "эксперименты". Настроить эксперимент можно в "Яндекс Аудиториях". Подробнее о процессе написано<a>в блоге "Яндекса"</a>.</p>
49
<p><strong>Ручное A/B-тестирование.</strong>Оно подойдёт для сравнения вариантов любых объектов. Но ручное тестирование трудозатратно, потому что настраивать показ объектов придётся вручную.</p>
49
<p><strong>Ручное A/B-тестирование.</strong>Оно подойдёт для сравнения вариантов любых объектов. Но ручное тестирование трудозатратно, потому что настраивать показ объектов придётся вручную.</p>
50
<p>Например, во "ВКонтакте" можно запустить два варианта объявления одновременно на одну аудиторию. А в "Директе" - настроить шахматный порядок показа кампаний: один час работает одна кампания, следующий - другая.</p>
50
<p>Например, во "ВКонтакте" можно запустить два варианта объявления одновременно на одну аудиторию. А в "Директе" - настроить шахматный порядок показа кампаний: один час работает одна кампания, следующий - другая.</p>
51
<p><strong>Специальные сервисы.</strong>В них можно тестировать разные варианты страниц сайтов, приложений, email-рассылок и многих других объектов. Например, вот несколько сервисов для тестирования страниц сайтов: Leadpages, Kameleoon, Optimizely Experiment, AB Tasty, Varioqub. Подробно о работе с одним из них мы поговорим<a>ниже</a>.</p>
51
<p><strong>Специальные сервисы.</strong>В них можно тестировать разные варианты страниц сайтов, приложений, email-рассылок и многих других объектов. Например, вот несколько сервисов для тестирования страниц сайтов: Leadpages, Kameleoon, Optimizely Experiment, AB Tasty, Varioqub. Подробно о работе с одним из них мы поговорим<a>ниже</a>.</p>
52
<p>Чтобы использовать сервисы, нужно установить на сайт их код. Тогда сервис сам распределит трафик между вариантами в равных долях и посчитает результат.</p>
52
<p>Чтобы использовать сервисы, нужно установить на сайт их код. Тогда сервис сам распределит трафик между вариантами в равных долях и посчитает результат.</p>
53
<p><strong>Тестирование с помощью программирования.</strong>Это самый редкий способ сплит-тестирования. В 98% случаев для теста не нужно писать код, потому что функциональность специальных сервисов закрывает большинство потребностей.</p>
53
<p><strong>Тестирование с помощью программирования.</strong>Это самый редкий способ сплит-тестирования. В 98% случаев для теста не нужно писать код, потому что функциональность специальных сервисов закрывает большинство потребностей.</p>
54
<p>К программированию прибегают, когда нужно проводить сложное A/B-тестирование - например, отслеживать одновременно несколько метрик и несколько сегментов целевой аудитории. Тогда для тестирования собирают команду, состоящую как минимум из аналитика и разработчика.</p>
54
<p>К программированию прибегают, когда нужно проводить сложное A/B-тестирование - например, отслеживать одновременно несколько метрик и несколько сегментов целевой аудитории. Тогда для тестирования собирают команду, состоящую как минимум из аналитика и разработчика.</p>
55
<p>Проще всего использовать специальные сервисы или встроенные инструменты. Их нужно настроить один раз, а потом оценить результаты. Ручное тестирование требует больше времени на настройку и постоянного контроля, а программирование - много ресурсов.</p>
55
<p>Проще всего использовать специальные сервисы или встроенные инструменты. Их нужно настроить один раз, а потом оценить результаты. Ручное тестирование требует больше времени на настройку и постоянного контроля, а программирование - много ресурсов.</p>
56
В "Яндекс Директе" можно настроить тест вручную, если сделать шахматный порядок показа кампаний<em>Скриншот: "Яндекс Директ" / Skillbox Media</em><p>Сплит-тестирование проводят до тех пор, пока не будет достигнут заданный размер выборки. На это может потребоваться от нескольких дней до нескольких месяцев.</p>
56
В "Яндекс Директе" можно настроить тест вручную, если сделать шахматный порядок показа кампаний<em>Скриншот: "Яндекс Директ" / Skillbox Media</em><p>Сплит-тестирование проводят до тех пор, пока не будет достигнут заданный размер выборки. На это может потребоваться от нескольких дней до нескольких месяцев.</p>
57
<p><strong>Анализ результатов.</strong>На этом этапе определяют, какой вариант дал лучший результат. Если новый вариант показал, например, конверсию на 3% больше, его внедряют и показывают всей аудитории. Если оказалось, что разницы почти нет или старый вариант лучше нового, формируют новую гипотезу и проверяют её.</p>
57
<p><strong>Анализ результатов.</strong>На этом этапе определяют, какой вариант дал лучший результат. Если новый вариант показал, например, конверсию на 3% больше, его внедряют и показывают всей аудитории. Если оказалось, что разницы почти нет или старый вариант лучше нового, формируют новую гипотезу и проверяют её.</p>
58
<p>Но результаты могут быть недостоверны. Чтобы убедиться, что новый вариант действительно лучше старого, оценивают статистическую значимость. Статистическая значимость - это показатель надёжности статистики: оценка того, получены ли данные в результате случайности. Статистическую значимость рассчитывают с помощью методов математической статистики - например, хи-квадрата Пирсона.</p>
58
<p>Но результаты могут быть недостоверны. Чтобы убедиться, что новый вариант действительно лучше старого, оценивают статистическую значимость. Статистическая значимость - это показатель надёжности статистики: оценка того, получены ли данные в результате случайности. Статистическую значимость рассчитывают с помощью методов математической статистики - например, хи-квадрата Пирсона.</p>
59
<p>Оценить статистическую значимость можно в специальных сервисах:</p>
59
<p>Оценить статистическую значимость можно в специальных сервисах:</p>
60
<ul><li>если сравнивали CR или CTR вариантов, можно использовать калькулятор<a>Mindbox</a>или<a>Evan Miller</a>;</li>
60
<ul><li>если сравнивали CR или CTR вариантов, можно использовать калькулятор<a>Mindbox</a>или<a>Evan Miller</a>;</li>
61
<li>если сравнивали CPA, подойдёт<a>калькулятор "Яндекс Директа"</a>;</li>
61
<li>если сравнивали CPA, подойдёт<a>калькулятор "Яндекс Директа"</a>;</li>
62
<li>если сравнивали LTV, подойдёт<a>другой калькулятор от Evan Miller</a>.</li>
62
<li>если сравнивали LTV, подойдёт<a>другой калькулятор от Evan Miller</a>.</li>
63
</ul><p>Если сервис посчитал результат статистически недостоверным, сплит-тестирование повторяют с теми же вводными, но с б<strong>о</strong>льшим размером выборки.</p>
63
</ul><p>Если сервис посчитал результат статистически недостоверным, сплит-тестирование повторяют с теми же вводными, но с б<strong>о</strong>льшим размером выборки.</p>
64
<p>Varioqub - продукт "Яндекса" для A/B-тестирования вариантов страниц сайта. Мы расскажем, как с ним работать: настраивать эксперимент и анализировать результаты.</p>
64
<p>Varioqub - продукт "Яндекса" для A/B-тестирования вариантов страниц сайта. Мы расскажем, как с ним работать: настраивать эксперимент и анализировать результаты.</p>
65
<p>Чтобы сервис заработал, нужно добавить на сайт код контейнера экспериментов. Это может сделать веб-аналитик.</p>
65
<p>Чтобы сервис заработал, нужно добавить на сайт код контейнера экспериментов. Это может сделать веб-аналитик.</p>
66
<p>Для настройки нового эксперимента нажмите на "Создать эксперимент". Напишите его название, выберите даты проведения эксперимента и долю аудитории, которая будет в нём участвовать. Даты можно рассчитать на основе трафика - например, если для сплит-тестирования нужно 6000 пользователей, а на страницу каждый день заходит 1000 посетителей, эксперимент должен длиться шесть дней.</p>
66
<p>Для настройки нового эксперимента нажмите на "Создать эксперимент". Напишите его название, выберите даты проведения эксперимента и долю аудитории, которая будет в нём участвовать. Даты можно рассчитать на основе трафика - например, если для сплит-тестирования нужно 6000 пользователей, а на страницу каждый день заходит 1000 посетителей, эксперимент должен длиться шесть дней.</p>
67
Создание эксперимента<em>Скриншот: Varioqub / Skillbox Media</em><p>Дальше нужно указать страницу, на которой вы будете проводить эксперимент, и параметры URL, по которым он будет активироваться. Например, в параметрах можно указать UTM-метку - тогда варианты будут показаны только людям, которые перешли по ссылке с этой меткой.</p>
67
Создание эксперимента<em>Скриншот: Varioqub / Skillbox Media</em><p>Дальше нужно указать страницу, на которой вы будете проводить эксперимент, и параметры URL, по которым он будет активироваться. Например, в параметрах можно указать UTM-метку - тогда варианты будут показаны только людям, которые перешли по ссылке с этой меткой.</p>
68
Сервис автоматически проверяет доступность ссылки<em>Скриншот: Varioqub / Skillbox Media</em><p>Дальше нужно указать цель, достижение которой вы будете отслеживать, - например, конверсию в отправку формы. Если цели не настроены, сделать это можно в "Яндекс Метрике".</p>
68
Сервис автоматически проверяет доступность ссылки<em>Скриншот: Varioqub / Skillbox Media</em><p>Дальше нужно указать цель, достижение которой вы будете отслеживать, - например, конверсию в отправку формы. Если цели не настроены, сделать это можно в "Яндекс Метрике".</p>
69
К основной цели можно добавить дополнительные - они не повлияют на результат, но сервис будет отслеживать и их<em>Скриншот: Varioqub / Skillbox Media</em><p>Следующий шаг - выбор типа эксперимента. В Varioqub три варианта: визуальный редактор, ссылки для редиректа и флаги в коде. Чаще всего используют визуальный редактор и ссылки для редиректа:</p>
69
К основной цели можно добавить дополнительные - они не повлияют на результат, но сервис будет отслеживать и их<em>Скриншот: Varioqub / Skillbox Media</em><p>Следующий шаг - выбор типа эксперимента. В Varioqub три варианта: визуальный редактор, ссылки для редиректа и флаги в коде. Чаще всего используют визуальный редактор и ссылки для редиректа:</p>
70
<ul><li>Визуальный редактор пригодится, если нужно протестировать варианты с минимальными несложными изменениями. Например, с разными цветами кнопок или текстом на первом экране. Но редактор не позволяет менять поведение блоков с интерактивными элементами - например, форм опросов или калькуляторов - и перемещать их. Также в нём нельзя перемещать блоки, в которых более 3850 символов кода.</li>
70
<ul><li>Визуальный редактор пригодится, если нужно протестировать варианты с минимальными несложными изменениями. Например, с разными цветами кнопок или текстом на первом экране. Но редактор не позволяет менять поведение блоков с интерактивными элементами - например, форм опросов или калькуляторов - и перемещать их. Также в нём нельзя перемещать блоки, в которых более 3850 символов кода.</li>
71
<li>Ссылки для редиректа используют, если нужно протестировать изменения в функциональности или поменять местами блоки, в которых есть какие-то формы. Для этого нужно заранее подготовить две страницы: одну - стандартную, другую - с изменениями. Обе страницы нужно разместить на одном домене, иначе эксперимент нельзя будет запустить.</li>
71
<li>Ссылки для редиректа используют, если нужно протестировать изменения в функциональности или поменять местами блоки, в которых есть какие-то формы. Для этого нужно заранее подготовить две страницы: одну - стандартную, другую - с изменениями. Обе страницы нужно разместить на одном домене, иначе эксперимент нельзя будет запустить.</li>
72
</ul><p>Мы покажем настройку на примере ссылок для редиректа. Эти ссылки указывают без домена, начиная с /. "Контрольный вариант" - страница без изменений, ссылку на неё указывать не обязательно. "Вариант 1" - страница с изменениями, ссылку на неё нужно указать.</p>
72
</ul><p>Мы покажем настройку на примере ссылок для редиректа. Эти ссылки указывают без домена, начиная с /. "Контрольный вариант" - страница без изменений, ссылку на неё указывать не обязательно. "Вариант 1" - страница с изменениями, ссылку на неё нужно указать.</p>
73
Укажите в поле "Вариант 1" ссылку на страницу, в которую внесли изменения<em>Скриншот: Varioqub / Skillbox Media</em><p>После настройки можно запускать эксперимент. Пока он идёт, нельзя его останавливать и вносить изменения в страницы - иначе придётся начинать заново.</p>
73
Укажите в поле "Вариант 1" ссылку на страницу, в которую внесли изменения<em>Скриншот: Varioqub / Skillbox Media</em><p>После настройки можно запускать эксперимент. Пока он идёт, нельзя его останавливать и вносить изменения в страницы - иначе придётся начинать заново.</p>
74
<p>Эксперимент остановится сам, когда придёт время или когда накопится достаточно данных. Чтобы оценить результаты, нужно нажать на кнопку "Посмотреть отчет" в списке экспериментов.</p>
74
<p>Эксперимент остановится сам, когда придёт время или когда накопится достаточно данных. Чтобы оценить результаты, нужно нажать на кнопку "Посмотреть отчет" в списке экспериментов.</p>
75
<p>В отчёте будут все показатели обоих вариантов - например, данные о количестве посетителей страницы, числе целевых действий, конверсиях. Если Varioqub обнаружит лучший вариант, он выделит его зелёным цветом.</p>
75
<p>В отчёте будут все показатели обоих вариантов - например, данные о количестве посетителей страницы, числе целевых действий, конверсиях. Если Varioqub обнаружит лучший вариант, он выделит его зелёным цветом.</p>
76
Так выглядит отчёт об эксперименте, в котором удалось определить лучший вариант<em>Скриншот: Varioqub / Skillbox Media</em><p>Если Varioqub не обнаружит лучший вариант, он ничего не выделит. Так может произойти, если результаты тестов слишком похожи и нельзя достоверно определить, какой вариант сработал лучше. Точнее, если после статистической обработки данных не будет доказано, что лучший вариант не мог быть получен случайно.</p>
76
Так выглядит отчёт об эксперименте, в котором удалось определить лучший вариант<em>Скриншот: Varioqub / Skillbox Media</em><p>Если Varioqub не обнаружит лучший вариант, он ничего не выделит. Так может произойти, если результаты тестов слишком похожи и нельзя достоверно определить, какой вариант сработал лучше. Точнее, если после статистической обработки данных не будет доказано, что лучший вариант не мог быть получен случайно.</p>
77
<p>В этом случае нужно сформулировать новую гипотезу и провести новое сплит-тестирование.</p>
77
<p>В этом случае нужно сформулировать новую гипотезу и провести новое сплит-тестирование.</p>
78
<p><strong>Несколько изменений в вариантах.</strong>Нельзя одновременно менять много элементов - например, цвета кнопок, призывы к действию, анимацию на странице. Иначе невозможно будет понять, какое из изменений повлияло на результат. Поэтому нужно следовать правилу: одно изменение - одно сплит-тестирование.</p>
78
<p><strong>Несколько изменений в вариантах.</strong>Нельзя одновременно менять много элементов - например, цвета кнопок, призывы к действию, анимацию на странице. Иначе невозможно будет понять, какое из изменений повлияло на результат. Поэтому нужно следовать правилу: одно изменение - одно сплит-тестирование.</p>
79
<p><strong>Чужие гипотезы.</strong>Использовать их не стоит - то, что сработало в одном проекте, не обязательно сработает в другом. Если бездумно копировать чужие гипотезы, можно потерять много времени и не улучшить показатели. Лучше анализировать ситуацию и выдвигать свои гипотезы.</p>
79
<p><strong>Чужие гипотезы.</strong>Использовать их не стоит - то, что сработало в одном проекте, не обязательно сработает в другом. Если бездумно копировать чужие гипотезы, можно потерять много времени и не улучшить показатели. Лучше анализировать ситуацию и выдвигать свои гипотезы.</p>
80
<p><strong>Досрочное завершение теста.</strong>Нельзя завершать сплит-тестирование раньше, чем был достигнут размер выборки. Результаты могут быть недостоверными. Затягивать эксперимент также не стоит.</p>
80
<p><strong>Досрочное завершение теста.</strong>Нельзя завершать сплит-тестирование раньше, чем был достигнут размер выборки. Результаты могут быть недостоверными. Затягивать эксперимент также не стоит.</p>
81
<p><strong>Неправильные метрики.</strong>Если отслеживать метрики, которые не влияют на коммерческие показатели, можно принять неправильное решение. Лучше выбирать показатели, которые влияют на выручку и прибыль, - например, коэффициент конверсии.</p>
81
<p><strong>Неправильные метрики.</strong>Если отслеживать метрики, которые не влияют на коммерческие показатели, можно принять неправильное решение. Лучше выбирать показатели, которые влияют на выручку и прибыль, - например, коэффициент конверсии.</p>
82
<p><strong>Неравномерное распределение аудитории.</strong>Варианты пользователям нужно показывать случайным образом. Иначе может получиться так, что отдельный сегмент аудитории будет видеть только один вариант - и результат будет недостоверным. Лучше использовать специальные сервисы - они распределяют трафик автоматически.</p>
82
<p><strong>Неравномерное распределение аудитории.</strong>Варианты пользователям нужно показывать случайным образом. Иначе может получиться так, что отдельный сегмент аудитории будет видеть только один вариант - и результат будет недостоверным. Лучше использовать специальные сервисы - они распределяют трафик автоматически.</p>
83
<p><strong>Игнорирование внешних факторов.</strong>На результаты эксперимента могут влиять внешние факторы: сезонность, общая информационная повестка, периоды распродаж. Чтобы получить статистически значимые результаты, лучше проводить A/B-тестирование в нейтральные периоды.</p>
83
<p><strong>Игнорирование внешних факторов.</strong>На результаты эксперимента могут влиять внешние факторы: сезонность, общая информационная повестка, периоды распродаж. Чтобы получить статистически значимые результаты, лучше проводить A/B-тестирование в нейтральные периоды.</p>
84
<p><strong>Выборка непохожа на генеральную совокупность.</strong>Чтобы получить применимые результаты тестирования, нужно сделать так, чтобы выборка была похожа на генеральную совокупность пользователей. Например, если в среднем конверсия 3%, а у людей, попавших в выборку, конверсия в среднем 8% - выборка нерепрезентативна: она плохо представляет среднестатистического пользователя сайта. Чтобы выборка была похожа на генеральную совокупность, распределение трафика лучше доверить сервисам.</p>
84
<p><strong>Выборка непохожа на генеральную совокупность.</strong>Чтобы получить применимые результаты тестирования, нужно сделать так, чтобы выборка была похожа на генеральную совокупность пользователей. Например, если в среднем конверсия 3%, а у людей, попавших в выборку, конверсия в среднем 8% - выборка нерепрезентативна: она плохо представляет среднестатистического пользователя сайта. Чтобы выборка была похожа на генеральную совокупность, распределение трафика лучше доверить сервисам.</p>
85
<ul><li>A/B-тестирование, или сплит-тестирование - это метод исследования, при котором сравнивают эффективность двух вариантов какого-то объекта: например, страницы сайта. Эти варианты показывают аудитории и оценивают, на какой из них люди реагируют лучше. Цель сплит-тестирования - понять, какое изменение приведёт к лучшему результату.</li>
85
<ul><li>A/B-тестирование, или сплит-тестирование - это метод исследования, при котором сравнивают эффективность двух вариантов какого-то объекта: например, страницы сайта. Эти варианты показывают аудитории и оценивают, на какой из них люди реагируют лучше. Цель сплит-тестирования - понять, какое изменение приведёт к лучшему результату.</li>
86
<li>Чтобы запустить A/B-тестирование, нужно сформулировать гипотезу, определить метрики, рассчитать размер выборки, запустить тест и проанализировать результаты. Для сплит-тестирования есть встроенные инструменты в рекламных системах и отдельные сервисы, а ещё его можно запускать вручную или использовать программирование.</li>
86
<li>Чтобы запустить A/B-тестирование, нужно сформулировать гипотезу, определить метрики, рассчитать размер выборки, запустить тест и проанализировать результаты. Для сплит-тестирования есть встроенные инструменты в рекламных системах и отдельные сервисы, а ещё его можно запускать вручную или использовать программирование.</li>
87
<li>Чтобы результаты теста были достоверными, важно не допустить ошибок. Распространённые ошибки - тестирование нескольких изменений, чужие гипотезы, досрочное завершение теста, неправильный выбор метрик, неравномерное распределение аудитории, игнорирование внешних факторов и тестирование на нерепрезентативной выборке.</li>
87
<li>Чтобы результаты теста были достоверными, важно не допустить ошибок. Распространённые ошибки - тестирование нескольких изменений, чужие гипотезы, досрочное завершение теста, неправильный выбор метрик, неравномерное распределение аудитории, игнорирование внешних факторов и тестирование на нерепрезентативной выборке.</li>
88
</ul><p>Как узнать больше о маркетинговой аналитике</p>
88
</ul><p>Как узнать больше о маркетинговой аналитике</p>
89
<ul><li>Прочитайте<a>статью о маркетинговых исследованиях</a>, чтобы понять, как ещё можно изучать поведение пользователей или ситуацию на рынке. Также в Skillbox Media есть статьи о других методах исследований: о <a>CustDev</a>,<a>глубинных интервью</a>,<a>SWOT-анализе</a>.</li>
89
<ul><li>Прочитайте<a>статью о маркетинговых исследованиях</a>, чтобы понять, как ещё можно изучать поведение пользователей или ситуацию на рынке. Также в Skillbox Media есть статьи о других методах исследований: о <a>CustDev</a>,<a>глубинных интервью</a>,<a>SWOT-анализе</a>.</li>
90
<li>В Skillbox Media есть статьи о метриках, на которые ориентируются при маркетинговой аналитике. Мы уже рассказывали о <a>CTR</a>,<a>CPC, CPM, CPA и CPL</a>,<a>LTV</a>,<a>open rate, click rate и CTOR</a>. Прочитайте статьи, чтобы понять, как рассчитывают эти показатели и что определяют с их помощью.</li>
90
<li>В Skillbox Media есть статьи о метриках, на которые ориентируются при маркетинговой аналитике. Мы уже рассказывали о <a>CTR</a>,<a>CPC, CPM, CPA и CPL</a>,<a>LTV</a>,<a>open rate, click rate и CTOR</a>. Прочитайте статьи, чтобы понять, как рассчитывают эти показатели и что определяют с их помощью.</li>
91
<li>Если вы хотите освоить метод сплит-тестирования, обратите внимание на курс Skillbox "<a>A/B-тестирование</a>". На нём учат формировать гипотезы, определять метрики, работать с выборкой и автоматизировать тесты с помощью Python.</li>
91
<li>Если вы хотите освоить метод сплит-тестирования, обратите внимание на курс Skillbox "<a>A/B-тестирование</a>". На нём учат формировать гипотезы, определять метрики, работать с выборкой и автоматизировать тесты с помощью Python.</li>
92
</ul><p>Интернет-маркетинг на практике</p>
92
</ul><p>Интернет-маркетинг на практике</p>
93
<p>Вы изучите SMM, копирайтинг, таргетинг и продвижение в интернете. На примере кафе с доставкой еды вы разберёте, как продвигать бизнес в интернете, и соберёте сильное портфолио.</p>
93
<p>Вы изучите SMM, копирайтинг, таргетинг и продвижение в интернете. На примере кафе с доставкой еды вы разберёте, как продвигать бизнес в интернете, и соберёте сильное портфолио.</p>
94
<p><a>Пройти бесплатно</a></p>
94
<p><a>Пройти бесплатно</a></p>
95
<a><b>Бесплатный курс по digital-маркетингу</b>Разбираемся в SMM, копирайтинге, таргетинге и не только. Все участники получат доступ к телеграм-каналу о маркетинге, где смогут искать проекты и обмениваться опытом. Пройти курс</a>
95
<a><b>Бесплатный курс по digital-маркетингу</b>Разбираемся в SMM, копирайтинге, таргетинге и не только. Все участники получат доступ к телеграм-каналу о маркетинге, где смогут искать проекты и обмениваться опытом. Пройти курс</a>