A/B-тестирование – отличный метод маркетингового исследования, и есть множество удобных инструментов для его проведения. Однако многие компании, не зная нюансов A/B-тестирования, год за годом совершают одни и те же ошибки. В этой статье я хочу познакомить вас с ними (с оригиналом можно ознакомиться тут.) Подумайте, не совершаете ли их вы.
1: Поспешное завершение A/B-тестирования
Суть А/В-тестирования в том, чтобы определить, лучше ли образец «A» образца «B» при условии, что контрольная группа элементов (в нашем случае это объем выборки) была достаточно велика, иначе ни о какой надежности теста нельзя говорить.
Практика показывает, что показатель статистического уровня значимости (т.е. достоверности) в 50% – это более чем сомнительный результат. Так что если при выявлении эффективности одного образца по сравнению с другим вы уверены лишь на 50%, нужно повторять тест.
Часто многие опытные маркетологи завершают исследование и объявляют «победителя» при показателе надежности результата в 80%, а потом за подобную поспешность расплачиваются потерей трафика.
Очень распространен такой сценарий (даже у компаний, которые вроде бы серьезно берутся за дело): на протяжении всего года проводится целый ряд тестирований, объявляется победитель и исследование заканчивается. Проходит год и оказывается, что компания возвращается к прежнему показателю коэффициента конверсии, который был еще до введения изменений, т.е. A/B-тестирования. И этот сценарий повторяется раз за разом.
Почему так происходит? Все дело в том, что в свое время поторопились и рано завершили тестирование либо объем выборки в ходе исследования был недостаточным. Нельзя завершать тест, не будучи уверенным в его правильности на 95% и выше. В случае с 95% существует всего лишь 5% вероятности погрешности, а это уже допустимый риск.
Обратите внимание, некоторые инструменты A/B-тестирования, например, Optimizely или VWO, я бы не рекомендовал, т.к. они чересчур рано завершают тест, их минимальный объем выборки слишком мал.
Однажды я проводил исследование для одного из своих клиентов, и через два дня после начала А/В-тестирования были показаны следующие результаты:
Согласно данным, вариация №1 исходного образца была провальной – хуже, более чем на 89% (и без всякой допустимой погрешности). Некоторые инструменты в данном случае уже давно бы завершили тестирование со 100% уверенностью в достоверности данных.
Итак, инструмент A/B-тестирования, который я использовал, показал, что у вариации №1 нет никаких шансов превзойти исходный образец, так что мой клиент уже был готов завершить тестирование.
Однако из-за того, что объем выборки изначально был невелик (чуть более 100 посещений на образец), я настоял на том, чтобы продолжить изучать сравниваемые образцы, и вот какую картину мы наблюдали спустя еще 10 дней:
Как вы видите, вариация, ранее признанная провальной, намного улучшила свои показатели и уже с 95% уверенностью является лучше исходника.
Вывод очевиден: относитесь скептически к инструментам по А/В-тестированию, которые стремятся быстро завершить сравнение образцов, и всегда перепроверяйте результаты. Нет ничего хуже, чем быть уверенным в данных, которые на деле окажутся ложными, т.к. подобная «уверенность» ведет к потере финансов и месяцев работы.
Каким должен быть объем выборки для корректного исследования?
Нельзя говорить ни о какой достоверности данных при показателе конверсии менее 100 на каждый образец. А если у вас хороший трафик, то результаты теста можно начать воспринимать всерьез только при конверсии минимум в 250.
Конечно, существуют некоторые частные случаи, когда тестирование можно завершить раньше обычного, но тогда у вас должны быть очень высокие показатели конверсии и существенная разница в результатах. Тут, кстати, неплохой инструмент по определению необходимого объема выборки для каждого конкретного случая.
Что делать, если показатель конверсии на каждый образец равен 100 (или 250), а процент достоверности данных по-прежнему ниже 95%?
Данная ситуация означает, что между образцами нет существенной разницы. Поэтому проверьте результаты теста по отдельным сегментам, чтобы понять, что именно необходимо подправить (помните, что большой успех состоит из множества предусмотренных и обдуманных мелочей). В любом случае вам необходимо улучшить свою гипотезу и запустить новый тест.
2: Тестирование прекращается в середине недели
Давайте представим, что у вас сайт с высоким показателем трафика и за три дня показатель конверсии для каждого образца равен 250, а достоверность результатов составляет 98%. Что это значит? Можно уже завершать тестирование образцов? А вот и нет.
Дело в том, что для выявления корректных данных необходимо исключить такой фактор, как сезонность, и проводить тестирование в течение полных недель, т.е. если вы запустили тест в понедельник, то и завершите его в понедельник. Почему? Показатель коэффициента конверсии может очень сильно варьироваться в зависимости от дня недели.
Если вы проводили тестирование в течение неполной недели, потом не удивляйтесь полученным результатам. Используйте инструмент анализ трафика веб-сайта по дням недели. Смотрите, как колеблется посещаемость сайта:
Что вы видите? По четвергам денег зарабатывается в два раза больше, чем в субботу или воскресенье, а коэффициент конверсии в четверг почти в два раза больше, чем в субботу.
Прекращать тестирование посреди недели неправильно, т.к. в таком случае данные будут некорректными. Поэтому за результатами тестирования необходимо всегда наблюдать в течение полной недели, и если вы не уверены в результатах по истечении 7 дней, значит, необходимо продлить тест еще на одну неделю, а если потребуется больше времени, то продлить еще на 7 дней и т.д.
Исключением является лишь тот случай, когда согласно статистическим данным можно с уверенностью сказать, что коэффициент конверсии не зависит от дня недели и всегда одинаков. Однако и тут лучше подстраховаться и понаблюдать за образцами в течение недели.
Всегда обращайте внимание на внешние факторы
Помните, что тот образец, который стал победителем накануне Нового года, может оказаться проигрышным в январе. Запустив тестирование в разгар новогодних (или любых других) распродаж, обязательно повторите исследование и после праздников, иначе вы рискуете руководствоваться ложными данными. Также не совсем корректно проводить подобное исследование после активной рекламной кампании, т.к. это может повлиять на результаты теста.
Вывод: помните, что любые внешние факторы, так же, как и проводимая политика компании, очень сильно влияют на результаты тестирования. Если вы в чем-то сомневаетесь, не лишним будет запустить тест еще раз.
3: A/B-тестирование проводится при низком показателе трафика/конверсии
Если вы совершаете всего 1-2 продажи в месяц, то как вам узнать, что образец «В» на 15% лучше исходного образца «A»? Для этого потребуется много времени, а это того не стоит!
Поверьте, мне очень нравится метод А/В-тестирования, но это совсем не тот инструмент, который нужен для улучшения коэффициента конверсии при низком показателе трафика. Даже если образец «В» лучше исходника, вам потребуется много месяцев, чтобы это подтвердить, т.е. попросту говоря, это деньги на ветер. Вместо того чтобы проводить ненужное в данном случае исследование, лучше потратьте деньги на развитие проекта и переключитесь на образец «В». Да-да, без всякого тестирования просто перейдите на эту версию и наблюдайте за своим банковским счетом.
4: Тестирование не основано на какой-либо гипотезе
Нельзя проводить тестирование только потому, что вас посетила какая-то случайная идея, и вы хотите посмотреть, сработает ли она. Все дело в том, что любое исследование – это большая трата времени и денег. Неужели вы хотите просто так потратить драгоценное время, трафик и деньги? Тестирование можно запускать только при наличии какой-либо гипотезы.
Гипотеза – это выдвигаемое предположение на основе конкретных данных, наблюдений, которое может быть подтверждено или опровержено. Гипотеза используется в качестве отправной точки для проведения исследования.
В случае с веб-сайтами необходимо для начала изучить показатель конверсии, понять, что теоретически может мешать его росту и как это можно изменить, и только после этого приступать к построению какой-либо гипотезы.
Давайте представим, что у вас нет четкой гипотезы. Вы тестируете образцы и выясняется, что образец «В» лучше образца «А» на 15%. О чем это говорит? Ни о чем! А вот если бы ваши действия изначально были подкреплены четкой гипотезой, вы бы наверняка знали, в каком направлении необходимо двигаться и достигли бы лучшего результата. Особенно важны данные, исходящие от клиентов, – прислушиваясь к своим потенциальным и настоящим клиентам, можно достичь настоящих высот.
5: Данные тестирования не анализируются с помощью Google Analytics
Средние показатели всегда врут, помните об этом. Если вы просто знаете, что образец «В» лучше исходника «А» – это далеко не полная картина. Необходимо разделить данные тестирования на отдельные сегменты и сравнить их.
У многих инструментов по А/В тестированию есть встроенные настройки для разбивки результатов по отдельным сегментам, но их недостаточно по сравнению с тем функционалом, который предлагает Google Analytics. Поэтому обязательно пропустите через Google Analytics результаты своего тестирования и изучите их сегментацию.
С помощью метрики Google Analytics можно проверить сегмент любого сравниваемого образца:
Возьмите себе за правило всегда отправлять данные тестирования в Google Analytics и разбивать результаты на сегменты.
6: Драгоценное время и трафик тратятся на бессмысленные тесты
Итак, вы тестируете цвета… Не стоит этого делать.
Нет идеального цвета, существует лишь визуальная иерархия. Конечно, в сети можно найти множество онлайн-тестов, где кому-нибудь правильная подборка цветовой гаммы помогла немного улучшить показатели, но к этому можно прийти и без всякого тестирования – лишь на интуитивном уровне.
Тратьте трафик на решение высокоэффективных задач, тестируйте конкретные определяемые данными гипотезы.
7: Сдаваться при первом провале тестирования
Вы запустили тест, и он не оправдал ваших надежд по улучшению показателей. Большинство тестов проваливаются при первом запуске. Будьте готовы запустить тестирование, изучить его результаты, внести коррективы в теорию и гипотезу, что лежат в его основе. Снова запустите тест, все тщательно изучите и проверьте, опять внесите необходимые коррективы, запустите… и так до того момента, пока не будет создан лучший образец.
Вот пример, когда на одной и той же странице тест запускался в шесть подходов, прежде чем был достигнут желаемый результат. Поэтому во избежание недоразумений ваши руководители, клиенты, т.е. те, кто платит деньги за тестирование, должны об этом знать заранее и не ждать успеха при первом же запуске теста.
8: Тестировать большое количество образцов
Показатель достоверности результатов – это не единственный фактор, на который необходимо обращать пристальное внимание. Также важно распознавать ложные результаты. Нетерпеливые маркетологи стремятся побыстрее перейти из стадии А/В-тестирования к A/B/C/D/E/F/G/H-тестированию. Давайте поговорим об этом.
Однажды Google протестировал 41 оттенок синего цвета! Однако только Google позволена подобная роскошь, повторять этот опыт – далеко не лучшая идея. Чем больше у вас образцов для сравнения, тем выше шанс нарваться на ложные результаты. Даже в случае с 41 оттенком синего при достоверности результатов в 95%, вероятность ложного результата составляет 88%.
Посмотрите видео:
Вывод: нельзя за раз тестировать слишком много образцов. Лучше отдать предпочтение простому A/B-тестированию – так вы быстрее получите результаты, скорее сделаете выводы, а, следовательно, улучшите свою гипотезу по продвижению сайта.
9: Запускать несколько тестов разных страниц одновременно
Вы запускаете коммерческий сайт и считаете себя гением, решив в это же время запустить несколько тестов, чтобы отшлифовать некоторые спорные моменты. Один тест – на страницу продукта, другой – на страницу заказа, и еще один – на домашнюю страницу. Думаете, сэкономите время?
Ничего подобного. Только добьетесь получения некорректных данных. Если вы действительно хотите за раз протестировать новую версию нескольких макетов (лайаутов), например, страницу продукта, заказа и оплаты, то вам необходимо использовать многостраничные эксперименты, разработанные специально для этих целей. Тогда пользователи будут видеть либо новую версию для каждой страницы, либо только старую.
10: Игнорирование небольших показателей роста
Ваша новая версия обошла исходную на 4%, и вы говорите: «Пфф, да разве это результат? Не буду размениваться по мелочам!».
Но дело в том, что если у вас уже хороший сайт, бессмысленно от него постоянно ждать умопомрачительных прорывов. Добиться 50% роста того или иного показателя за раз, как правило, можно лишь в тех случаях, когда из сырого, ни на что не годного сайта делают что-то более-менее стоящее. Но и это длится до поры до времени, т.к. участь хороших сайтов – по крупицам улучшать свои показатели.
Прирост показателей в 1%, 5%, 8% благодаря введенным изменениям уже является прорывом. Ведь иногда и за 1% роста скрываются миллионные доходы. Главное, что надо знать – необходимо смотреть на вещи с перспективой на целый год, а не лишь на короткий промежуток времени.
Одна победа – это всего лишь одна победа, будьте готовы проводить много тестов, чтобы вносить раз за разом успешные коррективы. Если вы ежемесячно будете улучшать коэффициент конверсии на 5%, то к концу года вы улучшите показатель как минимум на 60%, а там недалеко и до 80%.
Не недооценивайте небольшие показатели роста, в конечном счете они могут составить внушительный результат.
11: Исследования проводятся время от времени
Каждый день без проведения какого-либо исследования – это день впустую. Мы получаем полезные знания благодаря тестам: какая у нас целевая аудитория, какие методы работают и почему и т.д. Все знания, которые вы постепенно накапливаете, рано или поздно вам очень пригодятся в маркетинге.
Иметь в арсенале одну успешную стратегию и постоянно применять ее недостаточно, никогда не спешите отказываться от некогда провальных разработок. Возможно, необходимо провести какое-либо дополнительное исследование, доработать гипотезу, внести кое-какие коррективы и из ничего сделать конфетку.
Постоянно что-то изучайте. Научитесь правильно составлять план успешного А/В-тестирования. Никогда не прекращайте оптимизацию.
Вывод
На сегодняшний день существует множество инструментов, облегчающих процесс проведения тестирования, но это всего лишь инструменты. Делать правильные выводы – ваша прерогатива!
