Если вы веб-мастер, то вы, наверняка, знаете, что продвижение сайта нельзя осуществить без правильно настроенного файла robots.txt. Именно его ищут роботы-поисковики, когда попадают на ваш сайт. Именно он предписывает, что нужно индексировать, а что нельзя. Именно от того, насколько верно составлен robots.txt, зависит успех продвижения сайта. Правильный robots.txt - вот наш главный предмет разговора. Мы составили для вас маленький «FAQ по robots.txt».
Из чего состоит файл robots.txt? Какие символы используются для его составления?
Главный файл для индексации роботами – это всего лишь документ в блокноте. В нем используются следующие символы и их значения:
User-agent - название поискового бота. Если вы пропишите здесь бота Yandex, то правила будет выполнять только он. Все названия ботов: StackRambler, Googlebot, Mail.Ru, Aport, Yandex. Можно указывать и других роботов, но Google и Yandex будут приоритетными.
Disallow – здесь указывается то, что нельзя индексировать. Если вы оставляете эту область пустой, значит, на сайте нет исключений для индексирования.
# - под этим символом можно оставлять всяческие дополнительные комментарии.
Что необходимо прописывать в директиве host?
Правильный robots.txt должен иметь графу host, где мы прописываем, какой сайт основной, а какой - зеркало. Обратите внимание, что здесь адрес сайта нужно указывать без закрывающего слеша / и http. Кстати, директива host нужна только для индексации Яндексом.
Нужно ли прописывать компонент sitemap в файле robots.txt?
Если он у вас установлен, то прописывать его нужно обязательно. Выглядеть карта сайта в этом файле должна вот так: Sitemap: ваш сайт/ссылка на карту сайта в формате xml.
Как нельзя создавать robots.txt?
Нельзя создавать этот файл с ошибками. Неправильный синтаксис, опечатка - и бот не поймет вас. Запомните, что нельзя перечислять каждый файл в определенном разделе/директории. Вписывайте сразу всю директорию. Необходимо обязательно везде проставлять / слэш. Нельзя исключать графу disallow. Лучше оставить ее пустой, но быть она должна обязательно. Нельзя заполнять robots.txt только заглавными буквами. Комментарии под символом # лучше помещать на отдельной строке. И еще одна маленькая деталь: файл для роботов должен назваться именно так robots.txt и никак иначе.
Подведем итог. Составить документ для индексации роботами под силу даже начинающим веб-мастерам. Нужно просто быть очень внимательным и усидчивым. Если у вас возникают трудности при составлении правильного robots.txt, обращайтесь в компанию «Веб-мир». Мы поможем!
Robots.txt это лишь маленькая часть внутренней оптимизации и продвижения сайтов. Как мы осуществляем продвижение узнаете на этой странице...
