Дата публикации:


Настройка robots.txt для Битрикс позволяет поисковым системам, в том числе Яндекс и Google, правильно сканировать и индексировать страницы сайта. Это положительно влияет на поисковое продвижение и дает возможность быстрее занять топовые позиции в выдаче. Как следствие, сайт получит больше органического трафика, который при правильной настройке конверсии поможет повысить продажи.

Часто при создании интернет-магазина на Битрикс администраторы допускают типовые ошибки, которые повышают нагрузку на сайт и не позволяют правильно провести индексацию.

Где находится файл и как его создать в случае отсутствия

Роботс.тхт для Битрикс находится в корневом каталоге сайта на сервере. Для доступа к нему в адресной строке браузера необходимо набрать доменное имя, затем косой слэш и название файла.

mysite.com/robots.txt

Для работы с файлом можно использовать фтп-клиент или воспользоваться текстовым редактором, который встроен в админпанель хостинг-провайдера. Редактируется он как обычный txt-файл. В случае отсутствия достаточно просто создать его в файловом менеджере или фтп-клиенте. При создании необходимо проконтролировать, что имя и расширение введены верно.

Robots.txt для Битрикс можно создавать и редактировать прямо с административной панели CMS. Для этого устанавливается дополнительный модуль, который можно найти во внутреннем маркетплейсе.

Особенности настройки файла

Перед тем как редактировать robots.txt для Bitrix, необходимо разобраться с его синтаксисом. Кроме того, в самом начале следует сразу указать, для каких поисковых роботов предназначены нижеследующие инструкции. Разделить инструкции по роботам позволяет ключ User-Agent. Он может принимать такие значения:

  • Yandex — для автоматических программ индексации поисковой системы Яндекс.
  • Googlebot — для роботов от Google;
  • Yandeximages – для бота, который индексирует изображения с целью их дальнейшего поиска.

Полный список ключей для Яндекса и Гугл можно найти в справочниках этих поисковых систем.

Важные служебные символы:

  • # --- этим значком в файле отмечаются комментарии, то есть последовательности символов, которые не должны интерпретироваться ботами;
  • * — означает любую последовательность. Например, звездочку используют в ключе User-Agent, чтобы указать всех возможных поисковых роботов.
  • $ — символ, который указывает окончание области действия символа *.

Наиболее важные директивы в файле

Чаще всего правильный robots.txt для Битрикс содержит две директивы:

  1. Allow. Говорит поисковому боту о том, что он может сканировать содержимое страницы, указанное после двоеточия. По умолчанию производится сканирование всего сайта. Однако Allow нужно для того, чтобы указать каталоги в закрытой секции, которые нужно просканировать.

Например

Disallow: / # закрывает для сканирования весь сайт
Allow: /feed/turbo # открывает для сканирования конкретный раздел
  1. Disallow. Директива, которая запрещает сканирование конкретной страницы или страниц, которые размещены в определенном каталоге. Если после двоеточия поставить слэш, то весь сайт будет закрыт для сканирования поисковым роботом. В Битрикс с помощью этого ключа закрываются от сканирования страницы, которые играют вспомогательную роль, формируются динамически или временно.

Например

Disallow: /cat1/ # закрывает для сканирования каталог cat1

Кроме того, могут использоваться несколько дополнительных директив

  • Sitemap — указатель на файл со структурой сайта, где перечислены приоритетные для обработки страницы. В ней нужно прописывать весь адрес файла на сервере.
Sitemap: https://mysite.com/sitemap.xml
  • Clean-param — команда для ботов поисковика Яндекса. Она означает, что необходимо ввести запрет индексации страницы, которая передает для дальнейшей обработки параметры с помощью Get. Они не влияют на содержимое сайта, поэтому индексировать их для поиска не нужно.
Clean-param: s /forum/mypage.php
# вводит запрет на индексацию страниц типа
www.mysite.com/forum/mypage.php?s=495749476949&t=3345

Это нужно для работы php-скриптов

Пример правильного файла robots.txt для Битрикс

User-agent: *               # правила для всех роботов
Disallow: /cgi-bin          # папка на хостинге
Disallow: /bitrix/          # папка с системными файлами битрикса
Disallow: *bitrix_*=        # GET-запросы битрикса
Disallow: /local/           # папка с системными файлами битрикса
Disallow:  /*index.php$      # дубли страниц index.php
Disallow: /auth/            # авторизация
Disallow: *auth=            # авторизация
Disallow: /personal/        # личный кабинет
Disallow: *register=        # регистрация
Disallow: *forgot_password= # забыли пароль
Disallow: *change_password= # изменить пароль
Disallow: *login=           # логин
Disallow: *logout=          # выход
Disallow: */search/         # поиск
Disallow: *action=          # действия
Disallow: *print=           # печать
Disallow: *?new=Y           # новая страница
Disallow: *?edit=           # редактирование
Disallow: *?preview=        # предпросмотр
Disallow: *backurl=         # трекбеки
Disallow: *back_url=        # трекбеки
Disallow: *back_url_admin=  # трекбеки
Disallow: *captcha          # каптча
Disallow: */feed            # все фиды
Disallow: */rss             # rss фид
Disallow: *?FILTER*=        # здесь и ниже различные популярные параметры фильтров
Disallow: *?ei=
Disallow: *?p=
Disallow: *?q=
Disallow: *?tags=
Disallow: *B_ORDER=
Disallow: *BRAND=
Disallow: *CLEAR_CACHE=
Disallow: *ELEMENT_ID=
Disallow: *price_from=
Disallow: *price_to=         
Disallow: *PROPERTY_TYPE=
Disallow: *PROPERTY_WIDTH=
Disallow: *PROPERTY_HEIGHT=
Disallow: *PROPERTY_DIA=
Disallow: *PROPERTY_OPENING_COUNT=
Disallow: *PROPERTY_SELL_TYPE=
Disallow: *PROPERTY_MAIN_TYPE=    
Disallow: *PROPERTY_PRICE[*]=
Disallow: *S_LAST=  
Disallow: *SECTION_ID=
Disallow: *SECTION[*]=
Disallow: *SHOWALL= 
Disallow: *SHOW_ALL=
Disallow: *SHOWBY=
Disallow: *SORT=
Disallow: *SPHRASE_ID=        
Disallow: *TYPE=
Disallow: *utm*=            # ссылки с utm-метками
Disallow: *openstat=        # ссылки с метками openstat
Disallow: *from=            # ссылки с метками from

Allow: */upload/            # открываем папку с файлами uploads
Allow: /bitrix/*.js        # здесь и далее открываем для индексации скрипты
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif

# Укажите один или несколько файлов Sitemap
Sitemap: http://mysite.com/sitemap.xml
Sitemap: http://mysite.com/sitemap.xml.gz

Пример правильного файла robots.txt для Битрикс и решения Аспро:Максимум

User-Agent: *

Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /bitrix/*.ttf
Allow: /bitrix/*.woff
Allow: /bitrix/*.woff2
Allow: /bitrix/*.css
Allow: /bitrix/*.jpeg
Allow: /bitrix/*.png
Allow: /bitrix/*.jpg
Allow: /upload/*.js
Allow: /upload/*.css
Allow: /upload/*.jpeg
Allow: /upload/*.png
Allow: /upload/*.jpg
Sitemap: https://mysite.com/sitemap.xml
Disallow: /bitrix/
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*clear_cache
Disallow: /*?print=
Disallow: *?sort*
Disallow: *?set_filter*
Disallow: *?arrFilter*
Disallow: *apply* 

User-Agent: Yandex
Allow: /bitrix/components/
Allow: /bitrix/*.gif
Allow: /bitrix/*ajax_counter.php
Allow: /bitrix/cache/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /bitrix/*.ttf
Allow: /bitrix/*.woff
Allow: /bitrix/*.woff2
Allow: /bitrix/*.jpeg
Allow: /bitrix/*.png
Allow: /bitrix/*.jpg
Allow: /upload/*.js
Allow: /upload/*.css
Allow: /upload/*.jpeg
Allow: /upload/*.png
Allow: /upload/*.jpg
Allow: /upload/*.webp
Allow: */?PAGEN
Clean-param: q&gclid&baobab_event_id&dev&oid&keyword&linerow&p&RID&sort&sphrase_id&tpclid&utm_sitelink&yandex_ad_client_id&yhid&b24form_user
Disallow: */index.php
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?utm_source=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: */search/*
Disallow: */wishlist/*
Disallow: */personal/*
Disallow: */compare/*
Disallow: */auth/*
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: /*?utm_source
Disallow: /*?gtm_debug
Disallow: /*?utm_medium
Disallow: /*?utm_campaign
Disallow: /*?utm_content
Disallow: /*?utm_term
Disallow: /*&utm_source
Disallow: /*&utm_medium
Disallow: /*&utm_campaign
Disallow: /*&utm_content
Disallow: /*&utm_term
Disallow: /*?roistat_referrer=
Disallow: /*?display=
Disallow: /*?section_id=
Disallow: */?q=*
Disallow: *?*
Disallow: *order*
Disallow: *sharebasket*
Disallow: *apply*
Disallow: *filter*
Disallow: *clear*
Disallow: */?p=*

User-Agent: Googlebot
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /bitrix/*.ttf
Allow: /bitrix/*.woff
Allow: /bitrix/*.woff2
Allow: /bitrix/*.css
Allow: /bitrix/*.jpeg
Allow: /bitrix/*.png
Allow: /bitrix/*.jpg
Allow: /upload/*.js
Allow: /upload/*.css
Allow: /upload/*.jpeg
Allow: /upload/*.png
Allow: /upload/*.jpg
Disallow: /bitrix/
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*clear_cache
Disallow: /*back_url_admin
Disallow: /*?print=
Disallow: *action=*
Disallow: *?set_filter*
Disallow: *?arrFilter*
Disallow: */catalog/?q=*
Disallow: *apply*

Ошибочные рекомендации для файла

Правильный robots для Bitrix не должен содержать ошибочных инструкций и, наоборот, запретов, которые рекомендуют начинающие веб-мастера.

Наиболее важные моменты:

  1. Запрет на индексацию для страницы пагинации. Будет правильно, если роботы будут индексировать эти страницы. Но особенность состоит в том, что в них необходимо прописать мета-тег canonical.
  2. Запрет на загрузку файлов. Крайне не рекомендуется вводить запрет на загрузку файлов с текстовыми документами, электронных страниц и презентаций. Если в коде содержится ключ Disallow: /upload/, его нужно удалить.
  3. Запрет на индексацию страниц с тегами и категориями. На сайтах со сложной структурой эти страницы дублируют ту информацию, которая уже есть. Однако часто продвинуть сайт в поисковой выдаче можно и за счет них. Поэтому, если ввести запрет в файле, можно уменьшить объем потенциального органического правила.
  4. Правило Crawl-Delay. Это достаточно распространенная ошибка. Прописывать его нужно только в том случае, если у пользователя есть необходимость в ограничении индексации. Например, когда сканирование сильно увеличивает нагрузку на сервер из-за большого количества страниц. Однако, когда информации и страниц мало, вводить это правило не нужно.

Напомним, что директива Crawl-Delay устанавливает время в секундах, в течение которого поисковый бот может делать только 1 сканирование. Она необходима только в случаях, если роботы слишком сильно нагружают сайт.

Резюме

Настройка robots.txt в Битрикс позволяет установить правильные правила индексации страниц с помощью поисковых роботов, что помогает продвинуть сайт на Битрикс в выдаче на поиске. Чем более высокую позицию займет ваш домен, тем больше шансов получить органический трафик и увеличить объемы продаж без значительных вложений в маркетинговые мероприятия.

Остались вопросы или хотите обсудить Ваш проект?
Оставить заявку
Чат
  • Планшет
  • Оплата
Адрес

г. Москва, Хлебозаводский проезд, 7с9

Время работы

Пн-Пт: 10.00 - 19.00
Сб - Вс: выходной

Контактный телефон +7 (495) 230-20-53
Email info@wrp.ru