+380635889716

robots.txt – правильное использование

Про интернет-маркетинг и системы аналитики

robots.txt – правильное использование

Когда речь заходит о SEO, большинство людей понимает, что веб-сайт должен иметь содержание, “дружественную для поисковой системы” архитектуру сайта/HTML и метаданные (теги title и description).
Однако помехой в продвижении сайта может стать неправильное использование еще одного метаэлемента – robots.txt.
как настроить файл robots.txt

правильная настройка robots.txt

Просматривая сайт крупной компании, которая потратила немалые деньги на создание мобильной версии своего ресурса, в частности, на суб-директории, удалось выяснить интересный факт. Неправильное использование файла robots.txt привело к тому, что сайт не был доступен для поисковых систем (Disallow: /mobile/). В данной связи предлагаю рассмотреть, как правильно реализовывать robots.txt во избежание возможных проблем с поисковиками, что наносит вред вашему бизнесу. Кроме того, разберем, как правильно запретить сканирования структуры движка сайта.

Что такое Robots.txt файл?

Если простыми словами – файл robots.txt находиться в domain.com/robots.txt, здесь вы можете “разрешить” (Allow) или “запретить” (Disallow) индексирование поисковым роботом определенных категорий или страниц вашего сайт. Однако в случае неосторожного редактирования robots.txt файла, вы можете нарушить его структуру, что уж точно навредит работе ресурса. Информации о robots.txt файле в поиске предостаточно. В том числе, и о правильном применении функции запрета и блокирования “ботов” при индексировании вашего веб-сайта. Главное – убедиться, что robots.txt файл существует в корневом каталоге вашего домена(например, domain.com/robots.txt).

Как правильно настроить  robots.txt?

Файл будет выглядеть примерно так: /cgi-bin/, /tmp/, и /junk/ – синтаксические конструкции, которые используются для обозначения неидексированности каталогов на вашем сайте роботами. Таким образом мы запретили индексировать ненужные страницы сайта, которые не должны попасть в поисковую выдачу. Для популярной системы управления контентом CMS WordPress корректный файл robots.txt должен выглядеть таким образом

Неправильные примеры использования Robots.txt

В приведенном ранее мной примере, сайт с хорошим объемом контента и достаточно высоким качеством обратных ссылок практически отсуствовал в результатах поиска (выдаче). Все просто – владельцы сайта включили в результате чего поисковые роботы переставали сканировать веб-сайта. Бывает, что SEO компании после того, как владельцы перестают платить за продвижение сайта, редактируют robots.txt файл, чтобы запретить индексацию.

Robots.txt. Плюсы и минусы

Причин для запрета индексации поисковыми системами предостаточно. SEO преследует в этом свои цели. Что нужно делать с robots.txt:
  • Взгляните на все каталоги на вашем сайте. Скорее всего, есть те из них, индексацию поисковиками которых вы бы хотели запретить. В том числе,  /cgi-bin/, /wp-admin/, /cart/, /scripts/ и другие, содержащие конфиденциальную информацию.
  • Остановить индексацию в поисковых системах некоторых каталогов вашего сайта можно для избежания дублирования содержания. Например, некоторые веб-сайты имеют “печатную версию” веб-страниц и статей, что позволяет посетителям легко распечатать нужную информацию. Для этого вам нужно позволить индексацию поисковиками одной из версий вашего контента.
  • Убедитесь, что  основное содержание вашего веб-сайта не запрещено для индексации поисковых систем.
  • Посмотрите на некоторые файлы вашего сайта, возможно, вы хотите отказаться от индексации их в поисковых системах, если некоторые скрипты, или файлы содержат  электронные адреса, номера телефонов, или другие конфиденциальные данные.

Что не нужно делать с robots.txt:

  • Не используйте комментарии в вашем robots.txt файле.
  • Не перечисляйте все ваши файлы в robots.txt файле. Список файлов позволяет людям найти информацию, которую вы бы предпочитали не предоставлять.
В случае правильного использования robots.txt файл, вы легко сможете избежать проблемы с поисковым ранжированием. А отказ от индексации поисковых систем позволит избежать дублирования контента, что негативно влияет на позиции в поисковой выдаче. Однако стоит запомнить важно правило: если вы не уверены, что в состоянии сделать все правильно самостоятельно, проконсультируйтесь с SEO-специалистом.