Оптимизация файла robots.txt: основные структурные компоненты и его роль в ранжировании

robots.txt
robots.txt

В арсенале оптимизатора находятся средства, позволяющие регулировать деятельность робота на сайте. К таким инструментам относят: файл «robots.txt», атрибут «nofollow» и тег «noindex». С их помощью можно указать роботу на более значимые разделы сайта.

В этой статье будет рассмотрена значимость файла robots.txt. Будет описан способ его структуризации.

Краткая историческая справка

В начале 20 века интернет-рынок столкнулся с очередной проблемой. На этот раз поисковые роботы стали сильно перегружать сервера. Это было связанно с тем, что последние индексировали сайт полностью, в том числе и служебные разделы.

Это доставляло трудности для немногочисленной аудитории. Было принято решение о создании файла, который будет координировать действия поискового робота.

Файл robots.txt в общей структуре сайта

Это обычный текстовый документ, который располагается в корневой папке сайта. Каждый администратор имеет к нему доступ. При помощи этого файла многие хостинги вводят запрет на индексацию молодых сайтов.

Оптимизатор должен произвести оптимизация файла robots, чтобы улучшить ранжирование сайта. Ненужные разделы в индексе — это ещё один минус к «карме сайта».

Из файла robots исключаются следующие разделы:

  1. админ-панель
  2. служебные разделы
  3. страницы регистрации и входа
  4. страницы, предназначенные для пользователей
  5. незаполненные разделы

Структура файла robots

  1. user-agent
  2. disallow

Пример файла:

User-agent: *
Disallow: /forum/
Disallow: /admin/

В этом случае параметр «user-agent» определяет поисковые системы, для которых индексация разрешена. «Звёздочка» разрешает всем роботам индексировать сайт.

Параметр «disallow» определяет разделы, которые запрещены к индексации. В нашем примере запрещены два раздела: форум и админ-панель. Оптимизатор может вписать и другие разделы в нужном количестве.

Можно запретить и весь сайт к индексации. Тогда файл robots будет выглядеть следующим образом:

User-agent: *
Disallow: /

Таким образом, для полного запрета индексации необходимо поставить «слэш» в атрибуте «disallow». Если необходимо разрешить индексацию всего сайта, то пример будет выглядеть так:

User-agent: *
Disallow:

Таким образом, оптимизатор может отсеять все ненужные страницы. Это будет учитываться при ранжировании сайта. Часто молодые оптимизаторы допускают ошибки именно в файле robots.