Представьте, вы работали над оптимизацией сайта в течение какого-то времени – 3, 6 или даже 12 месяцев. Каждый месяц у вас были успехи, и вы уверены в результатах тестов. Это невоображаемый рост. Но сейчас ваш показатель конверсии такой же, как и вначале. Как вы объясните это начальству/клиенту?

Или вы оптимизировали сайт 12 месяцев, и ваш чистый доход на покупателя увеличился на 2%. Как можно доказать ваш вклад, что вызвало рост – оптимизация, маркетинг, сезонность, сарафанное радио или что-то другое?

Как вы измерите ROI ваших усилий по оптимизации? Вопрос более сложный, чем кажется на первый взгляд. Рассмотрим его подробнее ниже — мнение зарубежных экспертов (английский вариант тут) и нашего SEO-эксперта Сергея Кокшарова (devaka.ru).

Сравнение показателей за разные периоды времени в аналитике (почему это неправильно)

Если попросить измерить улучшение конверсии за счет оптимизации, многие обратятся к данным Google Analytics. Они предоставят сравнение показателей за определенный период времени: 6-12 месяцев назад, когда вы начали кампанию, и на данный момент (линейный анализ).

Но такое сравнение не даст полной картины по нескольким причинам, и самая главная – различие качества трафика.

По словам Chris Stucchio из VWO:

«Сравнение показателей за разные периоды не сработает только потому, что в математических терминах временной период статистически не зависит от поведения посетителей. Если посетители заходят на сайт, к примеру, в День Святого Валентина, то, скорее всего, они купят цветы. Если сравнивать два периода: А – в январе, и Б – в феврале, вы продадите больше цветов в период Б, независимо от каких-либо изменений на сайте. Есть несколько способов сделать слабые выводы из сравнения за временной период, к примеру, Сausal impact от Google и подобные инструменты, но они достаточно сложные и тяжелые в использовании».

На количество и качество трафика могут повлиять несколько факторов, но ими дело не ограничивается:

• сезон;
• праздники;
• упоминания в прессе (и позитивные, и негативные);
• контекстная реклама/поисковый маркетинг;
• SEO;
• сарафанное радио.

Давайте представим, что у вас конверсия 2% при посещении сайта в 100 тыс. пользователей ежемесячно. В течение года качество трафика может значительно меняться. Если вы продаете подарки, период праздников может улучшить конверсию без помощи оптимизации. Другой пример – если вы попали на главную страницу Hacker News, вы получите много трафика, но его низкое качество снизит существующий средний показатель конверсии.

Показатели конверсии – нестационарные данные

Стационарный временной ряд – это собранный в разные моменты времени статистический материал, чьи статистические свойства (среднее арифметическое, дисперсия, автокорреляция и т.д.) постоянны во времени. Согласно статье на сайте университета Duke, «стационарный ряд относительно просто предсказать: вы просто предсказываете, что его статистические свойства в будущем будут такими же, как и в прошлом».

Но, как говорится в Investopedia, точки данных часто нестационарные:

«Нестационарные данные (те, в которых есть тенденция развития), как правило, непредсказуемы и не могут быть смоделированы или предсказаны. Результаты, полученные с помощью нестационарного временного ряда, могут быть ложными, поскольку они могут указывать на отношения между двумя переменными, где одной из них не существует».

Как сказал Эндрю Андерсон из Malwarebytes: «Все данные имеют вид синусоиды, они идут вверх и потом вниз, вне зависимости от результатов теста». Как здесь:

Это природа данных. В зависимости от сезонности, дня недели, внешних факторов, СМИ, рекламы и т.д., данные колеблются. Даже если вы ничего не меняли на своем сайте на протяжении месяца, у вас не будет стабильно одинаковых результатов. Они будут колебаться, иногда незначительно, а иногда достаточно сильно.

Эндрю приводит это как доказательство того, почему сравнение за временной период в аналитике не подходит для точной оценки ROI, и дает хороший пример ниже:

Эндрю Андерсон, глава отдела оптимизации в Malwarebytes:

«Линейный анализ может показать только то, где вы сейчас, а не где вы должны быть. Вы можете получить хороший результат, но в итоге закончить с показателями, худшими, чем при старте. Также у вас может быть плохой результат, но при этом показатель будет лучше, чем в начале.

В обоих примерах синяя линия – это лучший вариант, но в одном желтая линия (худший результат) намного лучше, чем в начале тестирования. Так же, как во второй части, синяя линия находится на самой высокой точке, но при этом она ниже, чем в начале периода».

Он продолжает:

«Вы можете стоить вашей компании миллионы, продолжая думать, что все-таки лучше опираться на до и после, потому что это менее полезно, чем просто подкинуть монетку. Оба варианта не имеют ничего общего с оценкой результатов изменений, но с монеткой вы хотя бы не будете себя убеждать, что данные имеют хоть какой-то смысл».

Вы можете видеть колебания в ряде данных, так же, как и в линии тренда.

Возможные исключения

После разговора с Крейгом Салливаном, я обнаружил, что сделать сравнение за временной период все-таки можно. Хотя для этого у вас должен быть предсказуемый поток трафика (т.е. платная реклама), хотя даже такой вариант достаточно «грубый».

Крейг хорошо это объясняет:

Крейг Салливан, Optimal Visit:

«Проблема со сравнением за временной период в том, что вы не можете быть уверены, что трафик посетителей достоверный в течение обоих периодов. Сезонность, реклама, маркетинг, активность конкурентов, изменения на рынке, погода и многие другие факторы могут исказить два ваших образца до такой степени, что вы будете сравнивать небо и землю. Как бы то ни было, если вы можете поддерживать предсказуемый поток посетителей с похожими намерениями и сопоставить его по двум периодам, можно сделать сравнение, хоть и грубое. К примеру, если моя контекстная реклама рассчитана на период более чем 8 недель, я могу сделать не идеальное, но полезное сравнение трафика до и после изменений – так как я сравниваю определенный сегмент, а не «поведение всего трафика».

Конечно, точную информацию это мне не даст, но поможет определить: стало значительно лучше, значительно хуже или я не совсем уверен во влиянии изменений. Если я сравниваю глубокие сегменты (к примеру, люди, которые приходят на сайт и начинают оформлять заказ на определенную модель товара), тогда почему не сравнить их количество за два периода? Конечно, здесь есть разница, но некоторые из этих сегментов схожи по желанию и намерению в течение всего временного периода. Если я сравниваю трафик с разных страниц сайта, то сравнение за период времени становится менее надежным.

Наконец, есть такие инструменты, как GA Effect, которые помогают вам понять, было ли совершенное вами изменение «ответственно» за полученный эффект. Действительно ли эти 30 новых оптимизированных страниц помогли повысить конверсию или же это был просто шум. Я думаю, что анализ за период времени ущербен за счет способа, которым он совершается, – хотя и здесь есть исключения!»

Если мы полагаем, что трафик из платной рекламы «надежен», мы также должны предположить, что вы не меняли ежедневный бюджет, не меняли ключевые запросы и само объявление. Три, шесть или двенадцать месяцев – достаточно долгие периоды и в них много переменных. На самом деле, переменные постоянно меняются в AdWords, иногда ежедневно.

Также вы не можете получить широкое заключение из платной рекламы, так как вы не можете предположить, что все ресурсы трафика будут вести себя одинаково. То, что работает для платной рекламы, может не работать для прямого трафика, SEO-трафика и т.д.

Тесты для измерения влияния

«Крайне тяжело объяснить результаты, когда они ровные или идущие вниз. Фундаментальная проблема в том, что люди используют набор линейных корреляционных данных вместо сравнительных данных, которые дает тестирование. Другими словами вы говорите, что стали лучше на Х процентов, но не обязательно эти Х процентов лучше определенного числа. Все данные синусоидальные, они идут вверх и вниз, несмотря на результаты тестирования» — Эндрю Андерсон.

Комментарий SEO-эксперта Сергея Кокшарова (devaka.ru):

«Измерять ROI оптимизации, на мой взгляд, подобно измерению благосостояния семьи от качества приготовления пищи женой. Безусловно, это связанные вещи, но благосостояние семьи зависит от разных факторов, а насколько хорошо готовит ваша жена нужно мерять другими метриками.

Конечно, я больше технарь, чем бизнесмен, тем не менее, считаю правильным разделить бизнес-метрики и seo-метрики. Например, ROI относится к деньгам, значит это бизнес-метрика, также, как и средний чек или среднее время жизни клиента. Это полезно измерять, но очень осторожно делать выводы, так как бизнес включает в себя много аспектов. А измерять эффективность SEO лучше seo-метриками, такими как: позиции по приоритетным ключевым фразам, поисковому трафику по этим фразам, количеству разных ключевых фраз, по которым пользователи заходят на сайт/раздел и ежемесячному приросту этого показателя, скорости индексации и динамики видимости, и другим KPI (например, из тех, что предлагал Станислав Ставский)».

О том, какие варианты измерения ROI оптимизации имеют право на жизнь, по мнению западных экспертов, мы расскажем во второй части статьи, которая выйдет на следующей неделе в среду, 9 сентября.