kalinkindev
На связи Написать
Новое

Шаблоны robots.txt для 7 типов сайтов и блок для ИИ-ботов

Готовые robots.txt для WordPress, WooCommerce, 1С-Битрикс, Tilda, Next.js, лендинга и тестового сайта для разработки. Отдельный блок закрывает ботов, которые собирают тексты для нейросетей.

Бесплатно

За подписку на канал @kalinkindevc

Подписаться на канал →
Совместимость
WordPress, WooCommerce, 1С-Битрикс, Tilda, Next.js и React, лендинги
Стек
robots.txt · SEO
Формат
8 текстовых файлов: 7 шаблонов и блок для ИИ-ботов, плюс инструкция

проблема

Что решает

  • !robots.txt собран из советов разных лет: с Host, Crawl-delay и отдельной группой для Яндекса, где правила задублированы
  • !Корзина, служебные страницы и адреса с UTM-метками попадают в обход робота
  • !Боты нейросетей забирают тексты сайта для обучения моделей, и непонятно, как закрыть их без потери трафика из ИИ-поиска
  • !После переноса с тестового домена на рабочий на сайте остался Disallow: /, и сайт выпал из поиска
  • !Закрыли CSS, JS или пагинацию, и робот не видит страницу целиком

решение

Что получите

  • ✓7 шаблонов: WordPress, WooCommerce, 1С-Битрикс, Tilda, Next.js и React, лендинг и тестовый сайт для разработки (dev или staging-домен), который нельзя пускать в поиск
  • ✓Одна общая группа правил без дублей: по справке Яндекса отдельная группа Yandex отменяет общую
  • ✓Clean-param для Яндекса склеивает адреса с метками utm, yclid, gclid и другими
  • ✓Блок для ИИ-ботов закрывает GPTBot, ClaudeBot, CCBot и ещё четыре бота, а роботов ИИ-поиска оставляет
  • ✓Инструкция: какие строки оставить, какие убрать и как проверить файл в Вебмастере и Search Console

О скрипте

robots.txt говорит поисковым роботам, какие разделы сканировать не нужно: админку, корзину, служебные страницы, дубли с метками рекламы. В пакете 7 шаблонов под разные типы сайтов и отдельный блок для ИИ-ботов.

Что учтено в шаблонах

  • Одна группа User-agent: *. Если в файле есть группа для Яндекса, общую он не читает, так написано в его справке.
  • Нет Crawl-delay: Яндекс не учитывает его с 22 февраля 2018 года, Google не поддерживает. Нет и Host, его нет в списке директив справки Яндекса.
  • CSS, JS и пагинация открыты, чтобы робот видел страницу целиком и доходил до товаров в глубине каталога.

Блок для ИИ-ботов

Закрывает GPTBot, ClaudeBot, CCBot, meta-externalagent, Amazonbot, Google-Extended и Applebot-Extended. Роботы ИИ-поиска, которые ставят ссылку на ваш сайт в ответе, остаются открытыми и подчиняются общим правилам.

Что вы получите

  • 1Формат поставки — 8 текстовых файлов: 7 шаблонов и блок для ИИ-ботов, плюс инструкция

Частые вопросы

Уберёт ли robots.txt страницу из поиска?

Нет, он только запрещает сканирование. Google прямо пишет, что закрытая в robots.txt страница может попасть в индекс, если на неё ведут ссылки. Чтобы убрать страницу из поиска, нужен мета-тег noindex, и страница при этом должна оставаться открытой для робота.

Закроет ли блок сайт от всех нейросетей?

Нет. Он закрывает семь ботов и флагов, которые собирают контент для обучения моделей. Боты, которые открывают страницу по просьбе пользователя, например ChatGPT-User и Perplexity-User, по словам самих компаний могут не соблюдать robots.txt. Bytespider в блок не включён: официальной страницы с его описанием я не нашёл.

Почему роботы ИИ-поиска не закрыты?

OAI-SearchBot, PerplexityBot и Claude-SearchBot показывают ваш сайт со ссылкой в ответах, это трафик. Отдельных строк для них нет: без своей группы они подчиняются общим правилам и не пойдут в админку и корзину. Своя группа с Allow: / открыла бы им всё, включая админку.

В шаблонах нет Host и Crawl-delay. Это не ошибка?

Нет. Яндекс перестал учитывать Crawl-delay 22 февраля 2018 года, Google его не поддерживает. Host в списке директив справки Яндекса нет, главное зеркало настраивается редиректом 301 и в Вебмастере.

Хватит ли шаблона, чтобы закрыть тестовый сайт?

Нет, он только дополнительная страховка. Тестовый сайт для разработки (dev или staging-домен) закрывайте паролем и заголовком X-Robots-Tag: noindex, nofollow на сервере. При переносе на рабочий домен уберите строку Disallow: /, иначе сайт выпадет из поиска.

Похожие скрипты

Новое Хит

Тильда

Подарочные сертификаты Тильда без процента с продаж

Покупатель оплачивает сертификат как обычный товар, получает код на почту и гасит его в корзине. Работает на вашем хостинге, без процента с продаж.

От 30 000 ₽ Открыть →
Хит

Тильда

Ограничение применения промокода в корзине Tilda

Промокод в Tilda не действует на выбранную категорию (например, «Распродажа»). Готовый скрипт + инструкция по подключению.

От 6 000 ₽ Открыть →
Новое Хит

Тильда

Ограничение доставки по зонам на карте в корзине Tilda

Виджет доставки в шапке сайта + ограничение оформления в корзине по зонам на Яндекс.Карте.

От 9 000 ₽ Открыть →

Есть задача?

Обсудим в мессенджере

Расскажите, что нужно сделать — отвечу в течение 4 часов в рабочее время. Первая консультация бесплатно.

Телеграм @kalinkindev MAX ВКонтакте vk.com/kalinkindev
Продолжая пользование настоящим сайтом Вы выражаете своё согласие на обработку Ваших персональных данных (файлов куки) с использованием Yandex.Metrika.
Понятно