Следующий выпуск «Шпаргалки оптимизатора» выйдет 20 мая, тема: Ссылочная масса сайта.

Задавайте вопросы нашим специалистам на:
Twitter: #seolib
Facebook: http://www.facebook.com/pages/SeoLibru/129377607096335
E-mail: feedback@seolib.ru

Решение проблем с индексацией сайта

1. Будет ли страница, закрытая от индексации с помощью disallow, передавать свой вес на страницу, на которую ссылается?

Скорее нет, чем да. Все дело в том, что файл robots.txt – не жесткая директива для поисковых систем, а лишь рекомендация. Именно поэтому есть вероятность, что запрещаемая к индексации страница будет индексироваться и, соответственно, передавать вес. Если страница все же не индексируется, то и вес по ссылкам не передается.

Если вы хотите управлять данным процессом и жестко запретить роботу индексировать страницу, но передавать по ссылкам вес, то мы рекомендуем использовать мета-тег <META NAME=»ROBOTS» CONTENT=» «>.

Есть три варианта его использования:
<META NAME=»ROBOTS» CONTENT=»NOINDEX, FOLLOW»> — запрещает индексировать, но разрешает следовать по ссылкам и передавать вес.
<META NAME=»ROBOTS» CONTENT=»INDEX, NOFOLLOW»> — разрешает индексировать страницу, но запрещает следовать по ссылкам и передавать вес.
<META NAME=»ROBOTS» CONTENT=»NOINDEX, NOFOLLOW»> — запрещает и индексировать, и переходить по ссылкам.

2. Подскажите, почему не переиндексируется поисковиками сайт? Меняли тайтлы ещё 4 месяца назад, часть переиндексировал, а большую часть нет. Сайт на AJAX.

В первую очередь мы рекомендуем проверить, все ли в порядке с настройками сайта: реализованы ли страницы согласно рекомендациям Яндекса,
не закрыты ли они от индексации, ведут ли на них внутренние ссылки.

Если технических проблем нет, то:

• попробуйте разместить на проблемные страницы внешние ссылки;
• используйте ссылки с соц. сетей;
• разместите ссылки на нужные страницы на главной и на популярных страницах сайта;
• обновите контент на самих страницах;
• настройте ответ 304.

Также советуем ознакомиться с рекомендациями по ускорению индексации Яндекса.

3. Есть сайт интернет-магазина на WP. Товар — детские игрушки и одежда. Описания к каждому товару писались под заказ, т.е. они уникальны. Но из 1500 страниц (товаров) на сайте Яндекс индексирует только лишь около 450. В чем причина, может быть как-то по-особенному нужно составить robots.txt? В яндекс вебмастере видно, что 97 страниц исключены из индекса, так как «Документ является неканоническим». Подскажите, что делать?

То, что в Вебмастере Яндекс исключены страницы с сообщением «Документ является неканоническим», значит, что WP указал Яндексу, что не нужно индексировать эти страницы, так как они являются дубликатами. В rel=»canonical» у этих страниц указана ссылка на страницу, дубликатом которой она является. Канонические страницы – это оригиналы, и они у вас индексируются, неканонические – это их дубли, соответственно, они не индексируются, так что в этом месте ошибки нет.

Что касается плохой индексации Яндекса, это может быть вызвано рядом причин:

• возможно, прошло мало времени;
• технические ошибки (robots.txt или внутренний код);
• малополезный контент, подробнее о качестве контента тут.

В любом случае требуется более тщательный анализ.

4. Добрый день, есть сайт, тематика – продажа автозапчастей.
С Google проблем нет и с него идут основные заходы, много страниц проиндексировано. А вот Яндекс туго индексирует страницы, всего 40 страниц в индексе. Из каталога Яндекс берет выборочно страницы. Как сделать, чтобы все страницы сайта с объявлениями и новостями попали в поиск?

Такая индексация свидетельствует о том, что страницы сайта не «нравятся» Яндексу и он считает их ненужными для пользователей. Чаще всего это случается со страницами, имеющими шаблонную оптимизацию, title, description, тексты (одинаковый текст для всех страниц или очень похожие по смыслу тексты). Также крайне плохо в индекс “входят” страницы почти одинаковых товаров. Например, страницы типа “транзистор 123”, “транзистор 234” и т.д., где отличия минимальны, а все характеристики сходны, кроме, например, цвета. Еще сталкивались с ситуацией, когда каталог содержал много дублей (технических), и чтобы не разбираться, какие страницы нужны для индексации, а какие нет, Яндекс просто «выкидывал» из индекса весь каталог полностью.
Более детально можно сказать, только ознакомившись с сайтом.

5. Есть интернет-магазин, в нем страницы типа:
— товары
— товары, страница 1
— товары, страница 2
— товары, страница 3
— товары, страница 4

Товары на страницах разные, описания и картинки также разные, но тайтлы страниц практически получаются одинаковые, разница только в номере страницы. Надо ли закрывать такие страницы от индексации?

Как я понимаю, речь идет о страницах пагинации.
В целом закрывать не рекомендуем. Лучше оптимизировать первую страницу, сделав уникальными title, description и текст, а остальные страницы оптимизировать шаблонным titl-ом, без использования метатегов и текста. При этом в title должно указываться «Страница №».
Часто бывает ситуация, когда не удается сделать вывод текста или метатегов только для первой страницы. Тогда можно сделать канонической первую страницу каталога, на остальных прописав тег canonical, но это только в случае, если не получается сделать правильную оптимизацию.

6. Нужно ли закрывать от индексации ссылки социальных сетей?

Ссылки, связанные со своими аккаунтами в соц. сетях, закрывать от индексации не нужно. Наверняка поисковые алгоритмы умеют отличать такие ссылки, а гипотеза, что по таким ссылкам может утекать вес с сайта, уже устарела.

7. Создал сайт, тематика — продажа сантехники и керамической плитки. Сайту 4 месяца. Добавил на страницу контактов карту из Яндекса. Но до сих пор поисковые системы не проиндексировали сайт, ни Google, ни Яндекс. Что нужно сделать, чтобы сайт начал индексироваться?

• убедитесь, что сайт доступен к индексации (robots.txt, мета-тег noindex, сервер отдает ответ 200);
• добавьте сайт в поисковую систему Яндекса;
• добавьте сайт в поисковую систему Google;
• добавьте сайт в панели для веб-мастеров Яндекса и Google;
• после добавления сайта в панель Яндекс Вебмастер воспользуйтесь инструментом «проверить url», чтобы убедиться, что страницы доступны к индексации;
• выполните рекомендации по ускорению индексации;
• разместите несколько внешних ссылок с авторитетных ресурсов.

8. Стоит ли закрывать ссылки меню от индексации и если да, то для чего это нужно и как лучше всего сделать?

Нет, не стоит. Меню закрывается от индексации при настройке внутренней перелинковки. Считается, что за счет меню вес, передаваемый внутренними ссылками, размывается.
Также меню закрывают, если оно слишком большое и содержит большое количество символов, а основной контент при этом значительно меньше, из-за чего размывается релевантность страницы.
Мы считаем, что и в том, и в другом случае поисковая система понимает, что меню – это сквозной блок, и относится к нему по-особому, не размывая ни ссылочный вес, ни релевантность.

9. Существуют ли какие-нибудь программы или сервисы, с помощью которых можно узнать, какие страницы сайта не находятся в индексе Яндекса?

Для того чтобы получить список непроиндексированных страниц, требуется правильно составленная карта сайта и установленный Яндекс Вебмастер. С помощью карты сайта можно составить таблицу всех страниц, а с помощью панели Вебмастера получить список проиндексированных страниц. Далее, с помощью построчного сравнения в Excel, вы получите список всех непроиндексированных страниц.

Программы или сервисы, предназначенные для этих целей, делают такое же сравнение. Например, можно воспользоваться сервисом RDS – страница информации.

10. Подскажите, пожалуйста! Начал делать сайт, заполнена пока только 1 категория товаров, сайт уже был залит на хостинг и чудом попали в индекс Google 145 страниц, все эти страницы либо пустые, либо кривой текст, либо плагиат, но был залит с целью переделать. Запрет на индекс нигде не прописывался. Как быть в такой ситуации? Стоит ли удалять все страницы с индекса Google? Или можно быстро страницы подправить, переиндексирует ли их Google? Много страниц переименовываю, что будет со старыми страницами, которые проиндексировались?
Как весь этот мусор в индексе скажется на рейтинге при будущей оптимизации?

Вам не нужно удалять страницы из индекса Google. Лучше всего продолжать исправлять тексты, делать их уникальными и заполнять страницы текстом там, где он отсутствует. Часть страницы, которая вам кажется некачественной, вы можете закрыть от индексации и открыть после улучшения. Если речь идет только о замене текста, то проблем с переиндексацией быть не должно. Настроить индексацию вы сможете в robots.txt. Подробнее узнать об этом можно тут.
Если вы переименовываете страницы, лучше всего сделать 301 редирект, чтобы люди, зашедшие на старую страницу, автоматически перенаправлялись на новую. Таким образом, вы можете переименовать страницы и при этом страница не выпадет из индекса. Подробнее – https://support.google.com/webmasters/answer/93633?hl=ru.

Именно поэтому перед проведением оптимизации вам надо исправить свой контент, чтобы он не был мусором, а потом уже конкретно заниматься оптимизацией под этот контент. В этом случае проблем c рейтингом у вас быть не должно.

11. Сайт полностью уникальный и постоянно обновляется, но с каждым апом Яндекса страниц в индексе становится всё меньше и меньше, уже осталась одна треть, в чем может быть проблема? В Яндекс писали, пришел ответ, что с сайтом всё нормально.

В этом случае причины могут быть разными. Это может быть техническая проблема, связанная с сайтом или даже хостингом. Надо проверить, всегда ли работает сайт и нет ли проблем со стороны сервера хостинга. Также вам стоит проверить внутреннюю оптимизацию сайта: все ли мета-теги корректны, нет ли дублей страниц, настроен ли правильно 301 редирект. Проверьте свой контент, он может быть одновременно уникальным и при этом быть низкого качества, то есть, по сути, быть бесполезным для посетителей.

Предыдущие выпуски «Шпаргалки оптимизатора» читайте здесь.

На вопросы отвечали специалисты компании Siteclinic.ru: Владимир Столбов, Александр Явтушенко, Евгений Аралов, Никита Простяков, Станислав Кузьмичев