Следующий выпуск Шпаргалки оптимизатора выйдет 15 октября.

Задавайте свои вопросы специалистам тут:

Twitter: #seolib
Facebook: http://www.facebook.com/pages/SeoLibru/129377607096335
E-mail: feedback@seolib.ru

Технические настройки

1. В Яндексе плохо индексируются страницы. Скажите, от каких технических настроек зависит индексация? Что нужно проверять в первую очередь?

Индексация может зависеть от многих технических факторов. В первую очередь рекомендуем убедиться:

• доступны ли страницы для индексации (запрет в robots.txt, метатег noindex, отдают ли страницы ответ 200 OK);
• нет ли ограничений для доступа к сайту робота Яндекса (сервер, хостинг);
• надежный хостинг (сайт должен быть всегда доступен, круглосуточно, не «падать» в случае увеличения нагрузки);
• желательно, чтобы скорость загрузки страниц не превышала 3-5 с.;
• убедитесь, что страницы участвуют во внутренней структуре сайта и на них ведут ссылки, доступные для индексации поисковыми роботами.

Следует также:

• проверить информацию об индексации и исключенных страницах в Панели Яндекс.Вебмастера;
• сгенерировать sitemap и указать путь к карте сайта в robots.txt;
• определить основное зеркало (с www или без) и настроить 301 редирект;
• закрыть от индексации служебные страницы;
• настроить canonical, убедиться, что нет внутренних дублей;
• настроить 404 ошибку;
• проверить сайт на наличие битых ссылок.

2. Какой принцип формирования ЧПУ? Какие проблемы могут возникнуть при неправильно настроенных ЧПУ, что мне надо учесть при выборе CMS?

1) ЧПУ должен формироваться так, чтобы он отражал содержание страницы, было понятно, о чем на ней идет речь.

Это может быть отдельная страница – /kak-formirovat-cpu. Или вложенная страница, и тогда в ЧПУ можно отразить путь к странице:

/optimizaciya/technicheskie-voprosi/ kak-formirovat-cpu

2) ЧПУ не должен содержать прямого вхождения ключевых слов страницы, так как это может быть воспринято как переспам.

Например:

/iphone6 — правильно
/kupit-ipone6-nedorogo — неправильно

3) Неправильно настроенный ЧПУ может привести к однотипным и непонятным URL:

/index.php?=6
/index.php?=32
/index.php?=693

Шаблонные и непонятные URL могут затруднить продвижение страницы, так как они не отражают ее содержание.

4) При выборе CMS необходимо учитывать возможности настройки и изменения URL, а также возможности быстро сделать 301 редирект в случае, если нужно заменить URL старой страницы.

3. У меня интернет-магазин на Джумле. Хочу поставить онлайн-чат. Есть какие-то особенности установки? Как правильно его настроить?

Принцип для всех подобных чатов одинаковый, за редким исключением. Установка максимально упрощена. Например, вы можете использовать бесплатный чат от siteheart.ru. Чтобы начать, достаточно зарегистрироваться в системе и войти в админку.

В пункте меню «Код виджета» есть подменю «Виджет»: 

Его подпункты — и есть основные настройки:

Код — готовый код виджета, который можно установить в index.php файл шаблона вашего сайта, между тегами <bode></body>. Или можно перейти по ссылке API и добавить настройки в код виджета, задать любой цвет кнопки чата, чтобы он максимально «вписался» в дизайн вашего сайта.

Все настройки достаточно подробно описаны в документации к API.

Дизайн – можно подобрать из 8 существующих вариантов.

Настройки. В настройках можно определить положение виджета относительно экрана, задать название чата, настроить автоприглашение, если необходимо, и др. интересные настройки вроде количества посетителей на сайте, возможности отправить запись диалога на почту и т.д.

В пункте «Операторы» вы можете создать оператора (или нескольких) со своими данными для входа, на случай если у вас несколько менеджеров.

Настроек много, но уже описанных достаточно для полноценной работы чата на вашем сайте. После того как вы установите код, чат будет доступен со всех страниц вашего сайта.

4. Хотим реализовать на сайте фильтры. Каким образом лучше генерировать URLы?

URLы могут генерироваться автоматически, но в таком случае вы получите много похожих малопонятных URLов, которые неудобны для продвижения. Есть также риск появления дублей.

Мы рекомендуем сделать так, чтобы фильтр генерировал ЧПУ. Это облегчит продвижение данной страницы, а также исключит возможность появления дублей. Однако для этого придется настраивать URLы или вручную прописывать их.

Пример:
Плохой URL — /filter?=cat=1&product=2
Хороший URL — /iphone-5s

5. Как выявить дубли сайта и если они есть удалить их?

Дубли страниц чаще всего возникают из-за некорректного использования CMS.

Выявить их можно следующим образом:

Наберите в поисковике site:site.com и скопируйте в строку поиска часть текста или фразы со страницы. Так вы сможете узнать, на каком количестве сайтов копируется текст, и, следовательно, количество дублей.

Также в панели Google Webmaster в разделе «Оптимизация HTML» можно увидеть страницы с повторяющимися метаописаниями – это первый признак дублей.

Удалить дубли можно несколькими способами:

1) Удалить в панели Яндекс.Вебмастера (Яндекс — Мои сайты — Удалить URL);
Удалить в панели Google Webmaster (Инструменты для вебмастеров — Оптимизация HTML).

2) Закрыть страницы от индексации в robots.txt.

3) Удалить при помощи файла .htaccess.

4) Использовать атрибут rel=»canonical» (он подсказывает поисковой системе, какую страницу индексировать).

6. От чего зависит скорость сайта? Как ее проверить и улучшить?

Причиной медленной загрузки может быть большое кол-во скриптов, файлов стилей, картинок, не включенное сжатие на сервере, медленная его работа, неоптимизированный код, большое количество запросов к серверу и т. д. Определить причины медленной загрузки вашего сайта вы можете с помощью этого сервиса (протестировать можно онлайн либо установив дополнения для браузеров).

Проверить необходимо несколько типов страниц. Протестировав страницу, вы получите список рекомендаций по ее ускорению и оценку вашего сайта в сравнении с другими подобными по 100-бальной системе.

В этом списке порядок и цвет рекомендации имеет значение. Так, красные желательно исправить в первую очередь, на втором месте – оранжевые, зеленые – желательно, но не дадут особого эффекта (на них стоит обратить внимание, только когда уже исправлены красные и оранжевые).

7. Какой оптимальный вес страницы? Как его можно проверить и нужно ли это делать?

Однозначной цифры нет, в среднем нормальный вес страницы – 0.5-1.5 Мб. Прежде чем проверять вес страницы, необходимо проверить скорость ее загрузки – если она превышает 3 секунды, то стоит обратить внимание на вес.

Скорость загрузки напрямую зависит от веса страницы: вес изображений, скриптов, css и т.д. Для того чтобы понимать, что оптимизировать, нужно воспользоваться сервисом pagespeed, который подробно укажет, какие параметры нужно оптимизировать.

Сервис для проверки веса страниц
Скорость загрузки страницы
Google Page Speed

8. На своем сайте хотели сделать клиентам возможность оставлять комментарии через ФБ. Сложно разобраться с ним, не получается. Вы можете рассказать, как это правильно делается?

Сначала необходимо получить идентификаторы пользователя и приложения.

Идентификатор админа — это ваш идентификатор в Facebook, который можно посмотреть через этот сервис.

А идентификатор приложения можно получить, зарегистрировав ваш сайт как приложение Facebook, по этому адресу.

Здесь необходимо указать адрес сайта, его название, тематику.

После этого страница обновится и на ней будет ваш код приложения:

Эти идентификаторы необходимо записать между тегами <head></head> в следующем виде:

<meta property=»fb:admins» content=»{YOUR_FACEBOOK_USER_ID}»/>
<meta property=»fb:app_id» content=»{YOUR_APPLICATION_ID}»/>

Затем мы получаем код вставки комментариев.

Для этого нужно перейти в раздел «Разработчикам». Проще всего это сделать со страницы «Настройки» (в меню профиля), где в футере страницы есть ссылка на «Разработчики». На поддомене для разработчиков найдите пункт меню «Документация», на странице есть ссылка «Социальные плагины». Перейдите по ней и там найдете в меню ссылку на страницу плагина «Комментарии».

Страница плагина выглядит так:

Укажите адрес сайта, на который устанавливаете комментарии, и выберите ширину блока комментариев, количество выводимых комментариев и цветовую схему.

Жмите «Получить код», он будет содержать ваш идентификатор приложения. Теперь код готов для добавления на сайт.
Выглядит он так (верхнюю часть вставляйте в пределах тега <body>, а нижнюю – в ту часть, где должны выводиться комментарии):

9. На нашем сайте информация подгружается на ajax. Это может как-то отражаться на индексации сайта? Понимают ли Яндекс и Google ajax-скрипты?

С недавнего времени у поисковых систем (Яндекс и Google) появился процесс, который позволяет им сканировать и вносить в индекс такое содержание. Суть процесса заключается в том, что для каждого AJAX URL сервер отдает свой HTML-снимок. Для того чтобы роботу показать наличие HTML-страницы в URL, необходимо добавить восклицательный знак.

Пример:

http://site.ru/#page ->http://site.ru/#!page/. Обнаружив в ссылке #!, робот запросит HTML-страницу.

Несмотря на возможность сканирования AJAX сайтов, мы рекомендуем не использовать AJAX для важных индексируемых страниц, т.к. использование данной технологии может приводить к дополнительным техническим ошибкам, которые могут негативно сказываться на индексации и ранжировании сайта.

10. Как правильно настроить robots.txt? Можете привести необходимый минимум?

Необходимый минимум:

• разрешить индексацию всего сайта;
• прописать директиву host;
• прописать директиву sitemap.

Остальные задачи правильнее решать без использования robots.txt.

Основная ошибка в работе с robots.txt – на него часто пытаются перевесить задачи, для которых он не предназначен. В первую очередь это борьба с внутренними дублями, а также служебными и техническими страницами, которые нужно скрыть от индексации. Правильно решать такие вопросы использованием canonical, 301 редиректа, метатега noindex, настройкой 404 ответа. Если все на сайте прописано верно, то и в robots.txt дополнительные указания не нужны.

Все остальное закрывать от индексации следует, только если это не получилось сделать техническими средствами.

В ряде случаев также имеет смысл использовать robots.txt, чтобы снизить нагрузку на сервер. Сделать это можно, закрыв сайт от роботов поисковых систем, которыми не пользуется ваша целевая аудитория.

Подробно вопрос рассмотрен в статье Сергея Кокшарова:
http://devaka.ru/articles/robots.txt

11. Как понять, какой домен Google и Яндекс считают основным? И что делать, если для Я и G они разные?

Чтобы понять, какой домен Google считает основным, по очереди введите в поисковике сайты вида www.site.ru и site.ru:

Аналогичную операцию проведите с поисковой системой Яндекс.

Если мнения поисковых систем расходятся в том, какой домен основной, и вы хотите это изменить, воспользуйтесь нашими инструкциями:

Основной домен для Google:

Заходим на главную страницу “Инструментов для веб-мастеров”, выбираем сайт, для которого нам нужно установить основной домен, далее:

Основной домен для Яндекс:

Заходим в Яндекс.Вебмастер:

Также основное зеркало можно установить в файле robots.txt с помощью директивы Host.

Важно: не забудьте настроить 301 редирект со страницы site.ru/ на www.site.ru/ либо наоборот.

12. Нужна ли сайту карта (xml и html)? Как ее создавать правильно?

HTML-карта нужна только в том случае, если у сайта очень много внутренних разделов, и она призвана облегчить навигацию по сайту. В последнее время использование HTML-карты не практикуется.

Sitemap XML – важный файл, который сообщает поисковым системам, какие страницы необходимо индексировать.

Яндекс в своих рекомендациях говорит о том, что успешное индексирование сайта зависит от внутренней структуры ссылок, а sitemap является дополнением и помогает в случае длинных цепочек ссылок.

Google также не гарантирует индексацию всего сайта только лишь из-за наличия на сайте sitemap.xml. Можно точно сказать, что sitemap является необходимым, но не достаточным фактором для хорошей индексации сайта.

Если у вас большой интернет-магазин и ассортимент постоянно пополняется, то лучше всего, чтобы sitemap генерировался и обновлялся автоматически. Если сайт редко обновляется, то можно воспользоваться онлайн-сервисами, например, seolib.ru (https://seolib.ru/tools/generate/sitemap/).

13. Что делать, если сайт открывается с www и без, с / и без слеша. Для поисковой системы это разные адреса? Как это исправить, что и как нужно настроить?

Для поисковой системы это разные адреса. Страницы сайта должны быть доступны только в одном варианте с www или без, с / или без слеша. Наличие зеркала или внутренних дублей может препятствовать продвижению, поэтому ошибку нужно исправить:

• настройте на сайте 301 редирект;
• пропишите на страницах canonical;
• убедитесь, чтобы все внутренние ссылки ведут на правильный вариант страниц;
• в robots.txt укажите основное зеркало в директиве host;
• укажите основное зеркало в панелях для вебмастеров Яндекса и Google.

Предыдущие выпуски «Шпаргалки оптимизатора» читайте здесь.

На вопросы отвечали специалисты компании Siteclinic: Евгений Аралов, Анна Себова, Александр Явтушенко, Никита Простяков, Андрей Рыбкин.