+380635889716

robots.txt – правильное использование

Про интернет-маркетинг и системы аналитики

robots.txt – правильное использование

Когда речь заходит о SEO, большинство людей понимает, что веб-сайт должен иметь содержание, “дружественную для поисковой системы” архитектуру сайта/HTML и метаданные (теги title и description).
Однако помехой в продвижении сайта может стать неправильное использование еще одного метаэлемента – robots.txt.
как настроить файл robots.txt

правильная настройка robots.txt

Просматривая сайт крупной компании, которая потратила немалые деньги на создание мобильной версии своего ресурса, в частности, на суб-директории, удалось выяснить интересный факт. Неправильное использование файла robots.txt привело к тому, что сайт не был доступен для поисковых систем (Disallow: /mobile/). В данной связи предлагаю рассмотреть, как правильно реализовывать robots.txt во избежание возможных проблем с поисковиками, что наносит вред вашему бизнесу. Кроме того, разберем, как правильно запретить сканирования структуры движка сайта.

Что такое Robots.txt файл?

Если простыми словами – файл robots.txt находиться в domain.com/robots.txt, здесь вы можете “разрешить” (Allow) или “запретить” (Disallow) индексирование поисковым роботом определенных категорий или страниц вашего сайт. Однако в случае неосторожного редактирования robots.txt файла, вы можете нарушить его структуру, что уж точно навредит работе ресурса. Информации о robots.txt файле в поиске предостаточно. В том числе, и о правильном применении функции запрета и блокирования “ботов” при индексировании вашего веб-сайта. Главное – убедиться, что robots.txt файл существует в корневом каталоге вашего домена(например, domain.com/robots.txt).

Как правильно настроить  robots.txt?

Файл будет выглядеть примерно так: /cgi-bin/, /tmp/, и /junk/ – синтаксические конструкции, которые используются для обозначения неидексированности каталогов на вашем сайте роботами. Таким образом мы запретили индексировать ненужные страницы сайта, которые не должны попасть в поисковую выдачу. Для популярной системы управления контентом CMS WordPress корректный файл robots.txt должен выглядеть таким образом

Неправильные примеры использования Robots.txt

В приведенном ранее мной примере, сайт с хорошим объемом контента и достаточно высоким качеством обратных ссылок практически отсуствовал в результатах поиска (выдаче). Все просто – владельцы сайта включили в результате чего поисковые роботы переставали сканировать веб-сайта. Бывает, что SEO компании после того, как владельцы перестают платить за продвижение сайта, редактируют robots.txt файл, чтобы запретить индексацию.

Robots.txt. Плюсы и минусы

Причин для запрета индексации поисковыми системами предостаточно. SEO преследует в этом свои цели. Что нужно делать с robots.txt:
  • Взгляните на все каталоги на вашем сайте. Скорее всего, есть те из них, индексацию поисковиками которых вы бы хотели запретить. В том числе,  /cgi-bin/, /wp-admin/, /cart/, /scripts/ и другие, содержащие конфиденциальную информацию.
  • Остановить индексацию в поисковых системах некоторых каталогов вашего сайта можно для избежания дублирования содержания. Например, некоторые веб-сайты имеют “печатную версию” веб-страниц и статей, что позволяет посетителям легко распечатать нужную информацию. Для этого вам нужно позволить индексацию поисковиками одной из версий вашего контента.
  • Убедитесь, что  основное содержание вашего веб-сайта не запрещено для индексации поисковых систем.
  • Посмотрите на некоторые файлы вашего сайта, возможно, вы хотите отказаться от индексации их в поисковых системах, если некоторые скрипты, или файлы содержат  электронные адреса, номера телефонов, или другие конфиденциальные данные.

Что не нужно делать с robots.txt:

  • Не используйте комментарии в вашем robots.txt файле.
  • Не перечисляйте все ваши файлы в robots.txt файле. Список файлов позволяет людям найти информацию, которую вы бы предпочитали не предоставлять.
В случае правильного использования robots.txt файл, вы легко сможете избежать проблемы с поисковым ранжированием. А отказ от индексации поисковых систем позволит избежать дублирования контента, что негативно влияет на позиции в поисковой выдаче. Однако стоит запомнить важно правило: если вы не уверены, что в состоянии сделать все правильно самостоятельно, проконсультируйтесь с SEO-специалистом.

70 комментариев

  1. турагентства украины:

    P.S. Сайт, кстати, у вас прикольно сверстан

  2. погода сургут:

    почему так редко блог обновляете

  3. escort Paris:

    Неплохо… Огромное спасибо за инфу. Автору респект и уважуха

  4. Paris escorts:

    блог знакомый в аську ссылку кинул

  5. escort Paris:

    Кстати, по радио программа была об этом. Не помню, правда на какой волне…

  6. материалы для тюнинга салона автомобиля:

    Хм… Как раз на эту тему думал, а тут такой пост шикарный, спасибо!

  7. Paris escort:

    Интересно, я даже и не думала об этом

  8. Новые копии Швейчаских часов купить:

    Жаль, что в Интернете мало находила таких содержательных материалов

  9. Paris escorts:

    Спасибо. Прочитал с интересом. Блог в избранное занес=)

  10. Shanghai escort:

    Поздравляю, мне кажется это великолепная мысль

  11. кран на базе камаз:

    И да пребудет с Вами сила!

  12. отделочные работы:

    Спасибо за статью, всегда рад почитать вас!

  13. Преступность в Тайланде:

    Офигеть просто! Все, блин, всё знают, кроме меня

  14. китай из красноярска горящие туры:

    я бы сказал не интересно, а разумно

  15. [url=http://festejarepreciso.com/bootcamp-drivers-windows-7-64-bit.htm]bootcamp drivers windows 7 64 bit[/url]:

    Достаточно интересная и познавательная тема

  16. горящие туры красноярск тайланд:

    я бы кое-что добавила, но по сути сказано все

  17. временная регистрация в Москве:

    я бы сказал не интересно, а разумно

  18. Временная регистрация:

    Спасибо за статью, всегда рад почитать вас

  19. московская временная регистрация:

    как обычно радуешь нас своими лучшими фразами

  20. временная регистрация в москве:

    Как обычно просто супер обьёмная статья и как всегда дочитал до конца

  21. временная регистрация в Москве купить:

    Хм… даже такое бывает.

  22. регистрация граждан РФ в Москве:

    Хм… Как раз на эту тему думал, а тут такой пост шикарный, спасибо!

  23. временная регистрация в москве:

    Восхищена как всегда

  24. путевки в тайланд из красноярска:

    Наткнулся случайно на Ваш блог. Теперь стану постоянно просматривать. Надеюсь, не разочаруете и дальше

  25. лечение бородавок:

    Согласен, что пост получился удачным. Хорошая работа!

  26. сайт здесь:

    Сенкс. Интересно, и вообще полезный у Вас блог

  27. т-25 трактор:

    Что за движек у сайта?

  28. [url=http://www.parquette.ru/]паркетная доска москва[/url]:

    Неплохо… Огромное спасибо за инфу. Автору респект и уважуха

  29. штучный паркет распродажа:

    И как это автору не влом столько времени на написание статей тратить, мы конечно очень благодарны, но вот я на такой альтруизм не способен

  30. Школа актерского мастерства Сергея Базарова:

    Мне нравятся Ваши посты, заставляет задуматься…

  31. туры во вьетнам из красноярска:

    Интересно сделано. Почти за душу берёт, заставляет смеяться над остальной блогосферой. Но несовсем полно тема обозрена. Где об этом почитать подробно?

  32. ставку:

    Ваш пост навел меня на думки

  33. Электросушилки Изидри:

    Огромное человеческое спасибочки

  34. путевки красноярск пегас:

    Согласен, что пост получился удачным. Хорошая работа!

  35. красноярск вьетнам сколько лететь:

    Мне нравятся Ваши посты, заставляет задуматься…

  36. консервация септика топас:

    полностью поддерживаю, такие же мысли были.

  37. обслуживание септика:

    Поздравляю, мне кажется это великолепная мысль

  38. гражданство:

    Занятно пишете, жизненно. Все-таки, для того, чтобы делать по-настоящему интересный блог, нужно не только сообщать о чем-то, но и делать это в интересной форме:)

  39. патент на работу:

    Потрясающе! Хочется перечитывать снова и снова… Такие авторы сегодня большая редкость.Пока прочитал только эту одну запись, если и все остальное точно также хорошо, то автору респект

  40. регистрация:

    Действительно удивили и порадовали Никогда не поверил бы, что даже такое бывает

  41. патент на работу:

    Думаю, какую полезную информацию можно извлечь из этого материала

  42. временная регистрация по месту пребывания:

    Радует, что ваш блог постоянно развивается. Такие посты только прибавляют популярности.Только вчера об этом думал, так что пост как нельзя в тему!

  43. временная регистрация в москве цена:

    Думается, если долго стараться, даже самую сложную мысль можно так подробно раскрыть.

  44. временная регистрация:

    Суперский пост! Блог уже в ридере )

  45. новости Харькова:

    Давно искала эту информацию, спасибо.

  46. регистрация в Москве на пять лет купить:

    Круто. Добавлю блог в избранное и друзьям посоветую. Ждите новых читателей :)

  47. регистрация на пять лет купить:

    А представьте, если бы Ваш блог был бы повыше в рейтинге Яндекса, очень много бы людей прочли этот пост.

  48. mozgregi:

    Здравствуй! Спасибо за подаренные хорошие эмоции

  49. регистрация в Москве для Россиян:

    Достаточно интересная и познавательная тема

  50. регистрация граждан РФ:

    Хорош фигней маяться, давайте посерьезнее будем

  51. seo продвижение сайта в google:

    Очень интересно, но все в будущем хотелось бы еще побольше узнать об этом

  52. смотреть фильмы онлайн в HD:

    Мне кажется очень полезная штука.

  53. настольные игры купить:

    Я бы сказала о монументальности, грандиозности некоторых сюжетов

  54. бижутерия в Киеве:

    хорошо пишешь

  55. Авто Так развод:

    Хм… Финиш… Наверное пора бы расслабиться и отдохнуть

  56. установка видеонаблюдения - актуальная информация:

    Да, такой блог однозначно надо раскручивать сильнее – что б как можно больше людей о нем узнали

  57. babesofparis.biz:

    Автор выйди к народу, вопросы есть!

  58. parisdolls.com:

    Добавил в закладки. Теперь буду почаще читать

  59. francebk.com:

    Занятно пишете, жизненно. Все-таки, для того, чтобы делать по-настоящему интересный блог, нужно не только сообщать о чем-то, но и делать это в интересной форме:)

  60. only-thebest.com/models.html:

    хорошо пишешь

  61. vipescorts-girls.com/models.html:

    Спасибо! Супер статья! Блог в ридер однозначно

  62. stars-models.me:

    А я считаю, что все это верно и очень точно подмечено!

  63. goldendolls.biz:

    Интересно, я даже и не думала об этом

  64. babylonladies.com/galery:

    Должен признать, вебмастер зачетно накропал.

  65. gfe4men.com:

    Хотелось бы видеть надпись – to be continied

  66. сумка женская купить в интернете:

    Отлично!!! Вместо книги на ночь.

  67. по ссылке:

    Пост понравился, пишите еще. Я с удовольствием прочту.

  68. тайланд из красноярска октябрь 2015:

    Спасибо. Забавно

  69. для зубных техников:

    Первые два комментатора глаголят истину :)

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*

code