Для того,чтобы понять, как Вам может помочь инструмент «Формирование Robots.txt» на сервисе SeoLib, для начала стоит разобраться, зачем вообще нужен файл Robots.txt на сайте.

При посещении сайта, поисковые роботы сразу спешат найти файл Robots.txt. Зачем им понадобился этот файл? А необходим он им, потому что в файле Robots.txt находятся прописанные инструкции, которым следуют поисковые роботы. Инструкции помогают определить для поискового робота какие страницы сайта индексировать, а какие пропустить. Файл Robots.txt необходим в любом случае, и в случае если Вы хотите, чтобы поисковые роботы индексировали все страницы Вашего сайта и не индексировали определенные разделы. Только прописывать в файле необходимо для каждого случая в отдельности. Это необходимо, потому что файл Robots.txt является основополагающим звеном в процессе индексирования Вашего сайта. Также следует добавить, что инструкции могут быть как для конкретного робота, так и для всех поисковых роботов. Главное не допустить ошибок в написании инструкции для файла Robots.tx, которые могут привести к тому, что Ваш сайт может быть проиндексирован не корректно.

Для того, чтобы избежать ошибок и правильно сформировать инструкцию для файла Robots.txt, рекомендуем Вам воспользоваться инструментом на веб сервисе SeoLib «Формирование Robots.txt».

Давайте разберем содержание каждой команды скрипта «Формирование Robots.txt». Пользователям предлагается выбрать команду для роботов поисковой системы как для всех так и для каждой поисковой системы. На выбор предлагается ( Rambler. Google, Yandex).

Команды для роботов поисковой системы:

—разрешить роботам индексировать все содержание сайта

Полученные данные для роботов поисковой системы Yandex:

User-agent: Yandex

Disallow:

HOST: www.vkontacte.ru

В первой строке указан User-agent: Yandex, это означает, что прописано имя для конкретно какого поискового робота предназначена инструкция. Disallow: означает «запретить», в данном случае нет запретов файлов или директории к индексации роботом Yandex.

Для всех поисковых систем:

User-agent: *

Disallow:

User-agent: * — означает, что инструкция относится к индексации сайта всеми поисковыми роботами.

-запретить роботам индексировать следующие директории или файлы

User-agent: *

Disallow: /admin/

Disallow: /admin/ — запрет директории к индексации всеми поисковыми роботами

User-agent: Yandex

Disallow: page.php

HOST: www.vkontacte.ru

Disallow: page.php — запрет файла к индексации поисковым роботом Yandex

-запретить роботам индексировать все содержание сайта

User-agent: *

Disallow: /

Disallow: / — запрет индексации сайта всеми поисковыми роботами

User-agent: Yandex

Disallow: /

HOST: www.vkontacte.ru

Disallow: / — запрет  индексации сайта поисковым роботом Yandex

Работа данного скрипта «Формирование Robots.txt» заключается в том, что Вы просто указываете команду, которую по Вашему мнению считаете нужной и в результате получаете готовую инструкцию для файла Robots.txt. Полученные данные сохраните в блокноте под названием robots с расширением .txt и поместите в корневую директорию Вашего сайта. Скрипт «Формирование Robots.txt» создан для того, чтобы предоставить Вам правильно созданную инструкцию для файла Robots.txt в индексации сайта роботами поисковых систем