В арсенале оптимизатора находятся средства, позволяющие регулировать деятельность робота на сайте. К таким инструментам относят: файл «robots.txt», атрибут «nofollow» и тег «noindex». С их помощью можно указать роботу на более значимые разделы сайта.
В этой статье будет рассмотрена значимость файла robots.txt. Будет описан способ его структуризации.
Краткая историческая справка
В начале 20 века интернет-рынок столкнулся с очередной проблемой. На этот раз поисковые роботы стали сильно перегружать сервера. Это было связанно с тем, что последние индексировали сайт полностью, в том числе и служебные разделы.
Это доставляло трудности для немногочисленной аудитории. Было принято решение о создании файла, который будет координировать действия поискового робота.
Файл robots.txt в общей структуре сайта
Это обычный текстовый документ, который располагается в корневой папке сайта. Каждый администратор имеет к нему доступ. При помощи этого файла многие хостинги вводят запрет на индексацию молодых сайтов.
Оптимизатор должен произвести оптимизация файла robots, чтобы улучшить ранжирование сайта. Ненужные разделы в индексе — это ещё один минус к «карме сайта».
Из файла robots исключаются следующие разделы:
- админ-панель
- служебные разделы
- страницы регистрации и входа
- страницы, предназначенные для пользователей
- незаполненные разделы
Структура файла robots
- user-agent
- disallow
Пример файла:
User-agent: *
Disallow: /forum/
Disallow: /admin/
В этом случае параметр «user-agent» определяет поисковые системы, для которых индексация разрешена. «Звёздочка» разрешает всем роботам индексировать сайт.
Параметр «disallow» определяет разделы, которые запрещены к индексации. В нашем примере запрещены два раздела: форум и админ-панель. Оптимизатор может вписать и другие разделы в нужном количестве.
Можно запретить и весь сайт к индексации. Тогда файл robots будет выглядеть следующим образом:
User-agent: *
Disallow: /
Таким образом, для полного запрета индексации необходимо поставить «слэш» в атрибуте «disallow». Если необходимо разрешить индексацию всего сайта, то пример будет выглядеть так:
User-agent: *
Disallow:
Таким образом, оптимизатор может отсеять все ненужные страницы. Это будет учитываться при ранжировании сайта. Часто молодые оптимизаторы допускают ошибки именно в файле robots.
