Зачем нужен Robots.txt

Приветствую Вас! Хочу рассказать Вам о том что такое Robot.txt и для чего он нужен.

Многие новички опубликовав очередную статью с нетерпением ждут когда-же она будет проиндексирована поисковыми системами.

Расстраиваются и не понимают почему этот процесс иногда занимает достаточно большое количество времени. Все очень просто возможно у Вас отсутствует тот самый файл Robots.txt. Как же узнать есть ли он у Вас. Очень просто. Заходим к себе на сайт, в браузере после названия сайта ставим слэш (это наклонная палочка /) и прописываем robots.txt и нажимаем Enter

Теперь мы видим есть ли он у нас. Если его нет значит необходимо создать, а если есть возможно его придется настроить.

Зачем нам необходимо создавать Robots.txt.

В этом файле мы указываем какие файлы можно индексировать, а какие нет. Например роботам совсем не обязательно индексировать админ файлы. Или же наоборот мы даем разрешение для индексации паки uploads (Allow:/wp-content/uploads/) и робот сможет индексировать картинки.

Вы можете закрыть от индексации

Disallow: /categori/novosti/* - рубрику Новости
Disallow: /2012/* - архив за 2012 год
Disallow: /comment* - запрет на индексирование комментариев.

Первая строка User-agent:* означает, что параметры относятся ко всем поисковым роботам.

У меня этот файл выглядит так:

Составляем мы запись настроек в блокноте (не в word или exele) и называем его robots (без txt; txt — это обозначение что документ текстовый)

Теперь необходимо разместить наш файл. На хостинге в панели управления выбираем «Файловый менеджер». Находим папку public html открываем и перед нами открываются все файлы, смотрим внимательно есть ли у нас файл robots.txt, если нет то загружаем, а если есть то редактируем его.

Не забывайте сохранить внесенные изменения. Все готово, удачи и успехов Вам во всех начинаниях!

P.S. Возможно кто-то знает дополнительные параметры настроек Robots.txt и поделится ими в комментариях, буду очень признательна.