Как работает персональный поиск Яндекса? Исследование поисковой платформы «Калининград»

12 декабря 2012 года Яндекс выкатил алгоритм «Калининград», который умеет учитывать индивидуальные интересы пользователей. На основании данных о поведении посетителя в поиске Яндекс распознает его интересы и подставляет в результаты именно те сайты, которые ему нужны. Например, в выдаче по запросу «вавилон» любитель кино увидит ссылки на фильм, литератор – сайт издательства, а шопоголик – адреса торгового центра:

 

Согласно официальному источнику персональный поиск по умолчанию включен для всех пользователей и состоит из:

1) индивидуальных подсказок, которые формируются на основании запросов людей с похожим поисковым поведением (всего имеется 400 000 типов пользователей);

2) индивидуальных результатов выдачи для каждого пользователя: быстрый доступ к любимым сайтам (выше ранжируются те сайты, на которые пользователь чаще переходит) и персональный ответ по характерным для пользователя запросам.

Из официальных пресс-релизов нам известно, что Калининград повысил «пользовательское счастье» на 14 % (ровно столько времени теперь экономится при поиске ответа на запрос). А как обстоят дела со счастьем вебмастеров? Может ли персонализация влиять на количественные и качественные показатели трафика отдельных сайтов, и что нужно делать, чтоб влияние было положительным? Иными словами, какой подход к продвижению позволит получить выгоду от персонализации?
С целью получить ответ на этот и другие вопросы в конце декабря мы запустили специальное исследование выдачи Яндекса. Первые результаты исследования мы озвучили на конференции AllInTop в Москве, сейчас готовы поделиться ними с широкой публикой.

Как мы изучали персональную выдачу Яндекса

Сначала мы создали портреты 10-ти специальных персонажей – выдуманных пользователей Яндекса с явно выраженными поисковыми интересами. Для каждого персонажа был разработан четкий сценарий типичного поведения в результатах выдачи, включающий 10-15 сессий длительностью от 2 до 10 часов. После того как персонализация включилась для всех, мы собрали и сравнили топ-10 по предварительно подобранным запросам-маркерам разных типов. Сюда вошли общие имена существительные, многозначительные названия, транзакционные и коммерческие запросы с разной степенью уточнения и т.д.

По мере прохождения сценариев мы отслеживали, при каких условиях включается персональная выдача, и искали ответы на такие промежуточные вопросы:

— Какие действия пользователя в выдаче влияют на ее содержание? Что происходит с сайтом, на который пользователь никогда не кликает или после посещения которого почти сразу возвращается к результатам выдачи?

— Какое минимальное число запросов / переходов, и сколько времени необходимо для включения персонализации?

— Выдача по каким типам запросов больше склонна к персонализации (однословники/многословники, коммерческие/некоммерческие и т.д.)?

— Как сильно отличается персонализированная выдача у пользователей с разными интересами?

Результаты исследования

Наши эксперименты заняли приблизительно шесть недель. Чтобы получить правильные результаты, было очень важно добиться персонализации одновременно у всех персонажей, без разрыва апдейтами. Поскольку спрогнозировать дату апдейта мы не могли, эксперимент несколько раз приходилось перезапускать с нуля. После получения первых результатов мы повторно запустили исследование по такому же сценарию. В этой статье озвучены только те выводы, которые подтвердились дважды.

Поведение пользователя: что учитывает Яндекс?

1. Учитывается смысловой оттенок уточняющих запросов.
Яндекс учитывает, какие уточняющие запросы вводит пользователь. Например, если в запросы регулярно добавлять слова «бесплатно», «даром», «в подарок», «халява» и т.д., в персонализированной выдаче будут преобладать сайты с бесплатным контентом. Если у вас много запросов со словами «online», «смотреть в хорошем качестве», «слушать» и т.д., в персонализированном поиске будут показываться преимущественно ссылки на медиаконтент.

Пример
В Топ-5 без персонализации по запросу «Renault duster» на момент начала эксперимента было 2 коммерческих и 3 некоммерческих сайта. Мы вводили уточняющие запросы с явно некоммерческим оттенком: «Renault duster обзор», «Renault duster отзывы владельцев», «форум duster» и т.д. Потом по аналогичному сценарию проработали запросы «toyota rav4», «hyundai ix35», «nissan qashqai» и другие, в базовой выдаче по которым было 2-4 коммерческих сайта. Мы вводили уточнения со словами «тест драйв», «видео», «форум», «отзывы», «обзор» и т.д. Переходы совершались по сайтам, в сниппетах которых отсутствовали коммерческие слова («купить», «цены», «дилер» и т.д.).

После того как включилась персонализация, в выдаче по новым запросам с моделями авто в топ-5 коммерческие сайты отсутствовали.

Краткая схема эксперимента выглядит так:

2. Учитываются клики по сайтам и возвраты в выдачу.

Страницы, на которые пользователь кликает чаще:
— ранжируются выше, если пользователь не возвращается на страницу выдачи;
— исчезают с пределов видимости, если пользователь сразу возвращается в выдачу.

Страницы, на которые пользователь не кликает, опускаются ниже в результатах поиска.

Если в выдаче по разным запросам пользователь несколько раз переходил на разные страницы одного и того же сайта, то в его персональной выдаче этот сайт будет показываться на высоких позициях даже по тем запросам, по которым он отсутствует в топ-10 в поиске без персонализации. Но это только при условии, что при переходе на сайт пользователь не возвращался обратно в выдачу или возвращался, но через длительный период (разный для разных запросов и сайтов). Именно поэтому некоторые сайты после запуска Калининграда почувствовали скачок дополнительного трафика с Яндекса.

Если же кликать на страницы одного и того же сайта в выдаче по разным запросам, но сразу возвращаться к результатам поиска, происходит обратный эффект – в персональной выдаче сайт исчезает из поля зрения по многим запросам, в базовой выдаче по которым он находится в топе.

Получается, что таким образом Яндекс добавляет в «любимые сайты» только те ресурсы, где, как он считает, пользователь нашел ответ на свой вопрос.

Интересно, что если на сайт просто упорно не кликать, то в большинстве случаев он не исчезает из зоны видимости, а просто опускается ниже в пределах топа.

3. Действия пользователя на сайте не учитываются.
Даже если установлены Я.Бар и Метрика, не важно, что делал пользователь на сайте – переходил по страницам, совершал действия или просто 5 минут смотрел в одну точку. Важно только, вернулся ли он в выдачу, и если да, то через сколько времени. Это значит, что данные об интересах пользователей Яндекс пока берет только со страницы выдачи, другие источники не использует. Возможно, со временем данные Я.Метрики и Я.Бара тоже будут учитываться.

Когда включается персонализация?

1. Минимальная история поиска — 10 взаимосвязанных запросов.

Минимальный порог включения персонализации соответствует озвученному в пресс-релизах: не менее 10 запросов и 20 переходов. Но есть важное условие — эти 10 запросов должны быть взаимосвязаны между собой.

Персонализация включается при минимальном пороге только в случае, если эти запросы в рамках сессии имеют явную взаимосвязь:

Наполеон -> наполеон тарле -> книга наполеон тарле -> тарле наполеон книга скачать бесплатно …
Рено дастер -> рено дастер обзор -> тест драйв рено дастер -> дастер форум отзывы…

Если взаимосвязи нет, после таких коротких цепочек персонализация не включается:
Салат мимоза -> ноутбуки asus -> контактные линзы -> доставка суши…

2. Связь запроса с историей поиска – необязательное условие.
Согласно пресс-релизам персонализация включается только по запросам, которые связаны с историей поиска. Эксперименты показали обратное – очень часто персонализация включалась и для запросов, которые с историей поиска никак не связаны. В первую очередь это касается общих запросов, состоящих из одного слова.

Например, если сравнить базовую выдачу по запросу «вавилон» с персонализированной выдачей персонажей «Кинокритик» и «Молодая мама», видно, что все результаты отличаются:

 

Нет ничего необычного в том, что выдача кинокритика отличается от базовой выдачи. Он часто ищет фильмы онлайн, поэтому в выдаче они преобладают.
Но выдача молодой мамы тоже отличается от базовой выдачи, несмотря на то, что ее предыдущие запросы не имеют явной связи с запросом «вавилон».

3. Чем больше слов в запросе, тем меньше персонализирована выдача.
Согласно нашим тестам в большинстве случаев персонализация не включается по уточняющим многословным запросам даже у пользователей с явно выраженными интересами. Например, если пользователь всегда интересовался ботаникой, по запросу «лотос» у него будут ссылки на статьи о растении. Но если он уточнит запрос (например, так — «лотос торговый центр»), персонализация отключается, в поиске — базовая выдача с адресами и телефонами торгового комплекса.
В процессе нашего тестирования для однословных запросов персонализация сработала в 99% случаях, для двухсловных – в 84%, для многословных (3 и больше слов) – только в 34%. Это при том, что запросы имели прямую связь с историей поиска.
Можно сказать, что персонализация почти всегда включается для тех запросов, по которым в выдаче раньше был спектр.

4. Для включения персонализации нужно от 12 до 72 часов.
В процессе проведения экспериментов мы также заметили, что индивидуальные подсказки включаются сразу, а персональные результаты выдачи – через определенный промежуток времени. Зависимости скорости включения персонализации от активности пользователя в выдаче выявлено не было. В одних случаях персонализация включалась в течение 12 часов, несмотря на сравнительно малое количество запросов (до 15) и короткие сессии, в других приходилось ждать по 3 дня, несмотря на частые запросы и длительные сессии.

Как сильно отличается персонализированная выдача у пользователей с разными интересами?

В процессе анализа мы пришли к таким выводам:
1.Общие запросы (предмет, явление, действие, определение) – одни и те же страницы просто меняются местами.

На скриншоте ниже показана выдача для разных персонажей по общему запросу «форум»:

 

Видно, что одни и те же сайты просто меняются местами в выдаче, содержание топов отличаются 1-2 сайтами (подчеркнуто красным). То есть в выдачу подмешивают сайты по интересам, но не много и не всегда в Топ-5.

2. Имена собственные и названия чего-либо (“гермес”, “наполеон”, “византия”, “русь”…) – в результатах выдачи разные сайты, пересекаются только 2-3 страницы.

Сравним выдачу по запросу «наполеон» для студента 1-го курса истфака, домохозяйки и кинокритика:

 

Видно, что содержание топов сильно отличается – у студента преобладают ссылки на энциклопедии, у домохозяйки – на рецепт торта наполеон, у кинокритика – сайты с обзором фильма. Примечательно, что энциклопедии присутствуют во всех вариантах выдачи, а также везде присутствует сайт, посвященный историческому персонажу. Также во всех выдачах есть узкоспециализированный ресурс, посвященный наполеону. Пересекающиеся сайты подчеркнуты синим.

Такая же ситуация наблюдается по похожим запросам «русь», «гермес», «олимп» и т.д. – во всех выдачах есть энциклопедии, иногда встречаются пересечения по узкоспециализированным сайтам, посвященные сугубо созвучной с запросом теме.

3. Транзакционные (коммерческие) запросы из 2-х слов – наблюдается перетасовка в выдаче.
Практически по всем двухсловным запросам наблюдается перетасовка в выдаче. Например, выдача по запросу «купить ноутбук» у литератора и ученика разная, несмотря на то, что поведенческие истории этих персонажей с таким запросом никак не связаны:

 

Несмотря на перетасовку, в выдаче одни и те же сайты, отличаются только два (подчеркнуты красным).

4) Транзакционные (коммерческие) запросы из 3-х и более слов – наблюдается перетасовка в выдаче.
По запросам из 3 и более слов выдача по коммерческим запросам, не связанным с историей, не отличалась от базовой:

 

Очевидно, чем больше слов в запросе, тем меньше персонализированный поиск отличается от выдачи по умолчанию.

Выводы. Как заставить персонализацию работать на себя?

Чтоб сайт ранжировался выше в персональной выдаче как можно большего количества целевых пользователей, рекомендуем делать следующее:

1. Максимально расширяйте семантическое ядро.
Переходы на ваш сайт по одним запросам влияют на позиции по другим. Если вы продвинете сайт в Топ по 1/3 запросов за счет внутренней оптимизации, то остальные попадут в персональную выдачу за счет переходов по этим запросам. Важный момент — расширять ядро стоит только за счет целевых запросов, на которые сайт может дать ответ. Продвижение сайта по ряду нецелевых запросов может спровоцировать большое количество возвратов к выдаче и понижение сайта в персональном поиске.

2. Повышайте CTR сайта в выдаче.
Делайте такие сниппеты, которые не дадут пользователям пройти мимо вашего сайта. Как показывает исследование, если на сниппет не будут кликать, видимость сайта по большому количеству запросов не поможет – в персональной выдаче ваш сайт будет терять позиции. О том, как повысить CTR сниппета, читайте тут и тут.

3. Удерживайте пользователя на сайте.
Если сразу после перехода на ваш сайт пользователь будет возвращаться в выдачу, в персональном поиске этого пользователя ваш сайт перестанет показываться вообще, и кликабельный сниппет тут не поможет.

4. При продвижении новых сайтов ориентируйтесь на запросы из 3 и более слов.
Молодому неизвестному сайту сложно попасть в персонализированную выдачу, где пользователю показываются сайты, которые уже завоевали его доверие. Чтоб отвоевать долю внимания, новому сайту нужно сначала попасть в базовую выдачу, а это проще сделать по многословным запросам, которые меньше подвержены персонализации.

5. Пользуйтесь комплексными метриками.
Нужно мониторить и позиции, и трафик, и отказы, и конверсию и т.д. Например, если у сайта нормальные позиции, но трафика нет – проверьте сниппеты. Если трафик нормальный, но низкий уровень конверсий – проверьте качество посадочных страниц.

Удачного продвижения!

___________________________________________________________________________

Автор:
Analyst & Co-Founder Seolib.ru
CEO & Founder Siteclinic.ru

Mail: kamskaya@seolib.ru
Блог: Optimizatorsha.ru
Facebook.com/kamskaya
Twitter.com/Kamskaya



  • Шикарная статья! Елена, хотелось бы узнать про детали чистоты эксперимента. Пользователей создавали с нуля на Яндексе и какие компьютеры использовали? Очищали все куки и прочую ересь перед стартом?

  • yustnip

    Отличное исследование! Большое спасибо, в том числе отдельное за ссылки на сниппеты.

  • Rusfetische, спасибо за отзыв!

    Для экспериментов использовалась специальная сборка Mozilla Firefox (utilu.com) позволяющая установить одновременно несколько версий браузера, которые абсолютно независимы. Для каждого персонажа была использована отдельная версия браузера Mozilla Firefox, которая имеет свои куки, кэш, прокси настройки и т.п. Это позволило провести параллельное исследование сразу для всех персонажей.

  • Roma

    Спасибо, много полезного, есть о чём задуматься.

  • Как новичку — не успеешь разобраться с одними нюансами продвижения, как появляются новые.. А потом сидишь и репу чешешь.

    Работал над одним вопросами — яндекс ушёл вперёд по кликам…
    Начал работать над другими — яндекс послетал, гугл увеличился..

    Где золотая середина?

    Будем теперь работать над персонализацией.. Надеюсь хуже не станет..

  • Никита Рябин

    Очень хорошее исследование! Много для себя полезного извлёк!

  • Елена, один скриншот вроде неправильный поставили.

    После предложения: «Сравним выдачу по запросу «наполеон» для студента 1-го курса истфака, домохозяйки и кинокритика:»

  • Исследование супер! Елена как всегда радует отличным качеством материала, обычно на своем блоге, а теперь и тут )

  • Артур, спасибо, что заметили — заменила скриншот.
    Спасибо всем за положительные отзывы. Постараемся чаще выкладывать на блог результаты своих внутренних исследований.

  • Отличное исследование!

  • Спасибо за статью. Но мне проще делать сайт для людей, чем все анализировать)

  • Теперь понятно, почему у меня аудит упал. И с топа вылетел.

  • Исследование масштабное=) А вот выводы получились немного стандартные, ожидаемые, из разряда «уж сколько раз твердили в seo…». НЧ минимально персонализируется — считаю основным. СДЛ и целевые СЧ и НЧ запросы без фанатизма «хочу в топ по слову мебель» — и персонализация не так уж и страшна вроде как, да?=)

  • Денис, анализировать все действительно не нужно. Но чтоб сделать хороший СДЛ, аналитика потребностей и поведения пользователей все-таки не помешает =)

  • googlinka,
    персонализация действительно не страшна для СДЛ, которые знают свою целевую аудиторию и дают ей то, что она ожидает. Жаль только, что многие владельцы сайтов считают СДЛ любой сайт с технически уникальным контентом.

    Касательно выводов — объективные выводы, увы, часто получаются вполне ожидаемыми и довольно стандартными. Это же исследование, а не фантастических блокбастер. Последние года два все релизы Яндекса направлены на усиление ПФ и борьбу со спамом, но «сколько раз уже твердили в SEO», что не нужно в Title писать 10 ключевых слов через запятую и выделять все запросы болдом в тексте, до сих пор многие оптимизаторы продолжают это делать.

  • Kamskaya
    Понятно, но сам уже как-то наблюдаешь, экспериментируешь, прогнозируешь…

  • Алексей

    Здравствуйте, Елена
    Статья, отличная спасибо, вам

  • Артем

    Я захожу в поисковик что-бы найти новое — то, чего я не видел или не знаю. Для того чтобы запоминать сайты у меня есть закладки. Дык зачем Яндекс сует мне то, что я видел раньше?

  • Ben Nat

    Ну вот например: Яндекс
    Вопрос: москва
    Ответ: Результатов: примерно 598 000 000 ответов
    На выдаче: 19 страниц по 50 ссылок = 950 ссылок.
    И так по всем вопросам, от 400 до 600 ссылок доступны. А если я хочу 2000-ю или 1000000-ю ссылку посмотреть? Как?