Правильный robots.txt

Если вы веб-мастер, то вы, наверняка, знаете, что продвижение сайта нельзя осуществить без правильно настроенного файла robots.txt. Именно его ищут роботы-поисковики, когда попадают на ваш сайт. Именно он предписывает, что нужно индексировать, а что нельзя. Именно от того, насколько верно составлен robots.txt,  зависит успех продвижения сайта. Правильный robots.txt -   вот наш главный предмет разговора. Мы составили для вас маленький «FAQ по robots.txt».

Правильный robots.txt - Web-mir 

Из чего состоит файл robots.txt? Какие символы используются для его составления?

Главный файл для индексации роботами – это всего лишь документ в блокноте. В нем используются следующие символы и их значения:

User-agent - название поискового бота. Если вы пропишите здесь бота Yandex, то правила будет выполнять только он. Все названия ботов: StackRambler, Googlebot, Mail.Ru, Aport, Yandex. Можно указывать и других роботов, но Google и Yandex будут приоритетными.

Disallow – здесь указывается то, что нельзя индексировать. Если вы оставляете эту область пустой, значит, на сайте нет исключений для индексирования.

# - под этим символом можно оставлять всяческие дополнительные комментарии.

 

Что необходимо прописывать в директиве host?

Правильный robots.txt должен иметь графу host, где мы прописываем, какой сайт основной, а какой  - зеркало.  Обратите внимание, что здесь адрес сайта нужно указывать без закрывающего слеша / и http. Кстати, директива host  нужна только для индексации Яндексом.

 

Нужно ли прописывать компонент sitemap в файле robots.txt?

Если он у вас установлен, то прописывать его нужно обязательно. Выглядеть карта сайта в этом файле должна вот так: Sitemap: ваш сайт/ссылка на карту сайта в формате xml.

 

Как нельзя создавать robots.txt?

Нельзя создавать этот файл с ошибками. Неправильный синтаксис, опечатка -  и бот не поймет вас. Запомните, что нельзя перечислять каждый файл в определенном разделе/директории. Вписывайте сразу всю директорию. Необходимо обязательно везде проставлять / слэш. Нельзя исключать графу disallow. Лучше оставить ее пустой, но быть она должна обязательно. Нельзя заполнять robots.txt  только заглавными буквами. Комментарии под символом # лучше помещать на отдельной строке.  И еще одна маленькая деталь: файл для роботов должен назваться именно так robots.txt  и никак иначе.

 

Подведем итог. Составить документ для индексации роботами под силу даже начинающим веб-мастерам. Нужно просто быть очень внимательным и усидчивым. Если у вас возникают трудности при составлении правильного robots.txt, обращайтесь в компанию «Веб-мир». Мы поможем!

Robots.txt это лишь маленькая часть внутренней оптимизации и продвижения сайтов. Как мы осуществляем продвижение узнаете на этой странице...

Контакты:

+375 17 209-04-52
+375 17 209-68-32
+375 29 364-00-76