Зачем нужен Robots.txt
Приветствую Вас! Хочу рассказать Вам о том что такое Robot.txt и для чего он нужен.
Многие новички опубликовав очередную статью с нетерпением ждут когда-же она будет проиндексирована поисковыми системами.
Расстраиваются и не понимают почему этот процесс иногда занимает достаточно большое количество времени. Все очень просто возможно у Вас отсутствует тот самый файл Robots.txt. Как же узнать есть ли он у Вас. Очень просто. Заходим к себе на сайт, в браузере после названия сайта ставим слэш (это наклонная палочка /) и прописываем robots.txt и нажимаем Enter
Теперь мы видим есть ли он у нас. Если его нет значит необходимо создать, а если есть возможно его придется настроить.
Зачем нам необходимо создавать Robots.txt.
В этом файле мы указываем какие файлы можно индексировать, а какие нет. Например роботам совсем не обязательно индексировать админ файлы. Или же наоборот мы даем разрешение для индексации паки uploads (Allow:/wp-content/uploads/) и робот сможет индексировать картинки.
Вы можете закрыть от индексации
Disallow: /categori/novosti/* - рубрику Новости Disallow: /2012/* - архив за 2012 год Disallow: /comment* - запрет на индексирование комментариев.
Первая строка User-agent:* означает, что параметры относятся ко всем поисковым роботам.
У меня этот файл выглядит так:
Составляем мы запись настроек в блокноте (не в word или exele) и называем его robots (без txt; txt — это обозначение что документ текстовый)
Теперь необходимо разместить наш файл. На хостинге в панели управления выбираем «Файловый менеджер». Находим папку public html открываем и перед нами открываются все файлы, смотрим внимательно есть ли у нас файл robots.txt, если нет то загружаем, а если есть то редактируем его.
Не забывайте сохранить внесенные изменения. Все готово, удачи и успехов Вам во всех начинаниях!
P.S. Возможно кто-то знает дополнительные параметры настроек Robots.txt и поделится ими в комментариях, буду очень признательна.
Оставить комментарий