Если сравнение за период времени не работает, что же тогда можно сделать? Есть несколько способов измерить эффект от оптимизации. Есть плюсы и минусы у каждого из них, но, тем не менее, это лучше, чем ничего.

1. Повторно протестируйте старые версии сайта

Один из наиболее простых способов измерить ROI – заново протестировать старые версии сайта. В общем, все изменения, сделанные во время тестируемого периода (комбинированные в одну метрику) противопоставляются старой версии.

Как говорит Эндрю Андерсон:

Эндрю Андерсон, глава отдела оптимизации в Malwarebytes:

«После 5 месяцев постоянной оптимизации и оцененного эффекта примерно в 120% роста, мы решили включить оригинальный дизайн сайта в общее тестирование. Мы обнаружили, что действительный эффект был на 257% выше и эффективность работы снижал именно подход поискового маркетинга для увеличения количества качественных лидов. Это отвлекает внимание от ошибок тестирования и приводит к переоценке программы поискового маркетинга, в то же время предоставляя программе оптимизации полный доступ к изменению опыта пользователей».

Конечно, как и у других методов, у него есть свои плюсы и минусы. По словам Крейга Салливана, если вы постоянно совершенствуетесь и учитесь, то, возможно, вам не стоит тратить время на тестирование старой версии.

Крейг Салливан, Optimal Visit:

«Как сказал Mcdonalds: «Давайте вернемся в формат ресторана 2007 года, чтобы увидеть, как он работает», или Facebook: «Давайте использовать старую версию дизайна в мобильном приложении» ¬- есть смысл проверять эти вещи, но я думаю, что более целесообразно продвинуть продукт настолько, чтобы это сравнение не имело смысла».

2. Поверхностный каузальный анализ (причинно-следственный)

Как говорит Эндрю Андерсон, «используйте каузальный анализ, чтобы понять предполагаемое воздействие. В обоих случаях (каузальный анализ и тестирование старой версии) вы обнаружите, что в действительности эффект намного сильнее, чем вы себе представляли. Важно в процессе анализа не давать другим подсказок и полной оценки общей программы».

Что такое поверхностный каузальный анализ? В основном, это линия тренда на долгосрочный период с оценкой частоты ошибок. Возьмите за основу предшествующую изменениям дату и сравните полученный итог от изменений с ожидаемым итогом по линии тренда. Убедитесь, что вы используете независимые переменные как базис, чтобы вы могли понять разницу между тем уровнем, на котором вы бы могли быть, и тем, на котором вы сейчас.

Корреляция против причинности

«Все, что может быть приблизительно равным каузальным данным, – лучше, чем ничего, хотя и имеет более высокий шанс получить ошибки 1 и 2 типа («ложно позитивный» и «ложно негативный» соответственно)», говорит Эндрю.

Не идеально, но лучше, чем ничего.

3. Измерьте влияние на разных этапах воронки

По словам Криса Стуччо, можно измерить эффект от оптимизации на разных этапах воронки продаж.

Допустим, это ваши этапы:
• Шаг 1: перейти из письма на сайт
• Шаг 2: добавить товар в корзину
• Шаг 3: перейти к оформлению заказа
• Шаг 4: купить.

Возможно, у вас будет недостаточно информации, чтобы действительно измерить разницу на шаге 4. Но как говорит Крис:

«Вы всегда можете получить данные о шаге 4 из первых трех шагов (например, если вы оказали большое воздействие на процент людей, доходящих до пункта 3, скорее всего, (хотя не гарантированно), вы увеличили конверсию). Это точный способ оценить эффект от оптимизации статистически, хотя опять же немного сложный для реализации».

4. Направьте небольшую часть трафика на стабильную базу

Лукас Вермир, исследователь данных на Booking.com

«Если вы действительно хотите знать, вы можете направить небольшую часть трафика на стабильную базу, которая никогда не меняется, и это покажет вам, насколько лучше ваш сайт работает сейчас, чем тогда.
Обычно это сложно технически, но может пролить свет на стоимость бездействия/отказа от тестирования».
Направить небольшую часть, 5-10 %, общего трафика на стабильный контроль кажется наиболее аккуратным способом отследить влияние оптимизации. По крайней мере, я чаще всего слышал об этом методе от экспертов-оптимизаторов.

Крис Стуччо объясняет, как это работает:

«Единственный надежный способ измерить ROI от оптимизации – это использовать серию задержек. Одно из наших агентств-партнеров отказывается оптимизировать более чем 90% трафика. Потом они сравнят эти 90% трафика с оставшимися 10%; разница (при условии, что она статистически значима) может быть обоснованно отнесена к ним».
Конечно, в этом случае возникает вопрос альтернативных издержек. Если не оптимизировать 10%, вы (возможно) потеряете на увеличении дохода. Вы также будете иметь дело с неоптимизированным трафиком, поэтому, чтобы получить значимые результаты, придется потратить больше времени на тестирование.

Есть ли альтернативные издержки?

Как сказал Джошуа Кеннон, у всего в жизни есть альтернативные издержки.

Это вопрос ваших конкретных целей и отношения к риску. Эндрю Андерсон объясняет, почему всегда стоит улучшать свою работу, что может потребовать времени для проведения тестирования за долгий период:

«Всегда стоит пробовать улучшить свою работу, но если вы слишком малы, чтобы провести более тщательные тесты, вам нужно либо стать больше, либо вообще их не проводить. Дело в том, что измерить небольшие изменения (2% или даже 20% в некоторых случаях) действительно очень трудно. Эти изменения в сумме могут быть очень ценными. Но если вы не можете положиться на данные, вам нужно продолжать вносить крупные изменения, чтобы получить нужный эффект.
Помните, что ваше мнение — всегда наиболее ограничивающий фактор, и чем вы меньше, тем чаще вам нужно выходить из зоны комфорта».

Мнение Крейга об альтернативных издержках:

Крейг Салливан, Optimal Visit:

«Много споров об измерении небольших изменений и невозможности отделить их от внешнего шума. Согласно моему опыту, оптимизация сайта, сделанная с быстрыми и приоритетными изменениями, так же, как и исправление ошибок и неработающего функционала, даст рост, вне зависимости от того, измеряли ли вы крошечные изменения или нет.
Если вы не находитесь в постоянном усовершенствовании ключевой метрики или оптимизации, тогда важно ли, можете вы измерить каждое маленькое воздействие или нет?

По этой причине я провожу изменения пакетами или оптимизирую 30 страниц вместо одной, чтобы ясно видеть эффект от набора изменений, которые я провел.

Исправьте 235 ошибок в браузере, и конверсия увеличится. Нужно ли вам измерять или тестировать каждую ошибку? Конечно, нет.

Примите рост, двигайтесь дальше и продолжайте тестировать лучше и быстрее. Тестирование, нацеленное на скорость и приоритетность, даст вам бесконечные возможности, которые не сможет предоставить анализ».

Повторимся, оптимизация – это больше, чем А/Б тестирование и рост. Matt Gershoff, генеральный директор Conductrics, хорошо объяснил эту часть: «… собирая информацию для формирования решения». Другими словами, оптимизация – это способ снизить неопределенность и уровень риска при принятии решения. Таким образом, вы можете учитывать все остальные факторы, которые вы получаете от оптимизации конверсии.

Craig также отметил, что оптимизация конверсии состоит не только в тестировании, но и в общей картине:

«Вы просто проводите серию тестов, чьи ожидаемые результаты являются ценными знаниями для бизнеса, но дело не в самом тестировании, а в получении знаний от него. Качество работы зависит от формирования предположений и программ тестирования, которые способствуют обучению, а не краткосрочному влиянию. Это как создавать интеллектуальную собственность для вашего бизнеса, исходя из данных о потребителях».

Комментарий Юрия Кушнерова, руководителя и маркетолога Seolib.ru:

«Выбор методики измерения ROI зависит в первую очередь от самих показателей и изменений. Например, если вы учитываете количество подписчиков – это одно. А если процент открытых писем (в рамках того же проекта и даже той же рекламной кампании) – совсем другое. Поэтому следует четко понимать, что вы хотите получить на выходе, но смотреть не только на конечную цифру, а и на промежуточные данные.

Кроме того, невозможно отделить одни изменения от других. Современный сайт не может существовать статично, и при тестировании одних изменений нужно учитывать и другие, пускай незначительные на ваш взгляд, правки.

В любом случае нет универсального способа оценки ROI. Все зависит от конкретного бизнеса и конкретного сайта. Для одних отраслей сезонность вообще не играет роли, а для других — это основной фактор (всем известные кондиционеры и деды морозы). Важно то, что до внесения изменений вы должны понимать, как именно вы будете оценивать их эффективность и какие цифры для вас будут показательными».

Заключение

Измерение ROI – это трудное задание. Но есть несколько способов сделать это.

Есть некоторые статистически точные методы расчета влияния (GA Effect, слабый каузальный анализ), и если сравнение за временной период в общем неправильное (как следствие использования нестационарных данных), как упомянул Крейг, есть несколько исключений, с помощью которых вы можете получить грубую оценку (если у вас есть стабильный контролируемый трафик, например, платная реклама, хотя вы не сможете сделать общий вывод из него).

И наконец, один из более распространенных вариантов — направить стабильную часть трафика на небольшую серию задержек.

Запомните также, что правильная оптимизация и понимание, которые вы получаете, могут быть использованы во всем вашем маркетинге. Это процесс, который ведет к получению информации для принятия лучших решений, так что ROI соотносится с пониманием потребителя, которое вы приобретаете в процессе.

Первую часть статьи можно прочитать тут.

Оригинал статьи — http://conversionxl.com/roi-of-optimization/