Сайт не индексируется в Яндексе: чек-лист причин и что проверить

Сайт не индексируется в Яндексе - значит, поисковик либо не нашёл страницы, либо нашёл, но не стал добавлять их в базу по техническим причинам или из-за качества контента. За практику на Tilda и WordPress я разобрал не один десяток таких случаев, и в большинстве из них причина не в мифическом «фильтре», а в конкретной ошибке, которую видно за 10-15 минут в Яндекс.Вебмастере. Ниже - чек-лист, по которому я сам прохожусь, когда клиент пишет «сайта нет в поиске уже месяц».

Как понять, что сайт правда не индексируется, а не просто просел в выдаче

Первым делом разделяю два разных сценария: страниц нет в базе Яндекса вообще или они там есть, но не показываются по запросам. Проверяю оператором site:example.ru в поиске - если возвращает ноль результатов или единицы вместо сотен страниц, дело в индексации. Дальше иду в Яндекс.Вебмастер, раздел «Индексирование» → «Страницы в поиске» и сравниваю с числом «Обошёл робот». Часто вижу такую картину: у интернет-магазина 300 карточек товаров, робот обошёл 280 страниц, а в поиске из них 12. Это не «сайт не индексируется» в чистом виде - это частичная индексация, и причины там другие: дубли, качество контента, канонизация. Настоящее «не индексируется» - это когда обход почти нулевой или робот молчит неделями.

Технические ошибки, которые блокируют индексацию сайта

Это причина номер один по частоте на моей практике - процентов 60 обращений упираются именно сюда.

На Tilda с этим сталкивался напрямую: клиент перенёс сайт с публикации на Tilda на свой хостинг через экспорт, и вместе с экспортом подтянулся дефолтный robots.txt с полным запретом обхода - раздел так и провисел закрытым почти четыре месяца, пока трафик не обнулился настолько, что владелец забил тревогу. На WordPress частая история - одновременно активны Yoast SEO и RankMath (или остатки одного плагина после установки другого), и они конфликтуют по мета-тегам на части шаблонов. Отдельно у WooCommerce: фильтры по цене, цвету и размеру генерируют десятки тысяч URL с GET-параметрами, и без правильной канонизации это превращается в дублирующую массу, которую Яндекс просто не берёт в индекс целиком.

Молодой домен и сайт, который ещё не попал в индекс: сколько реально ждать

Если домен зарегистрирован недавно и сайт только что запустили, полное отсутствие индексации в первые 1-2 недели - это норма, а не повод паниковать. По моим наблюдениям на десятке свежих проектов: если сайт добавлен в Яндекс.Вебмастер и sitemap подан вручную, первые страницы попадают в обход за 3-7 дней, в поиск - за 2-4 недели. Без регистрации в Вебмастере и без внешних ссылок этот срок растягивается на месяцы, потому что робот банально не находит новый домен быстрее. Отдельно у новых сайтов часто проседает ранжирование даже при наличии в индексе - это не блокировка, а постепенный набор доверия к домену, и тут ускорить процесс сторонними методами не получится, только регулярным контентом и корректной технической базой.

Сервер и хостинг: блокировки, из-за которых робот Яндекса не может зайти на сайт

Сюда попадают причины, которые не видно в исходном коде страницы, только в логах сервера или заголовках ответа.

• 5xx-ошибки при обходе - сервер не успевает отдать страницу под нагрузкой, робот фиксирует ошибку и снижает частоту обхода
• Блокировка по User-Agent - хостер или защитное правило .htaccess режет ботов «на всякий случай», и YandexBot попадает под раздачу вместе с парсерами
• Проблемы с SSL-сертификатом - просроченный или неправильно настроенный сертификат делает часть страниц недоступной по HTTPS
• Цепочки редиректов после переезда на новый домен или смены CMS - робот обходит 3-4 редиректа и бросает URL

Пример из практики: на интернет-магазине с оплатой через эквайринг Т‑Банка хостер настроил правило защиты от ботов на уровне сервера после серии парсинг-атак, и это правило зацепило часть легитимных краулеров вместе с вредоносными. Ещё один момент, который не блокирует индексацию напрямую, но бьёт по скорости обхода - тяжёлые виджеты сторонних сервисов на странице: калькулятор доставки СДЭК, онлайн-консультант, скрипты аналитики. Если каждый из них грузится синхронно и раздувает TTFB до 3-4 секунд, робот успевает обойти меньше страниц за сессию и индексация всего каталога растягивается на недели.

Дубли страниц и качество контента как причина отсутствия в индексе

Яндекс не банит дубли - он просто выбирает одну версию страницы для показа, а остальные держит вне поиска. Частые источники дублей: доступность страницы одновременно с www и без, по http и https, со слэшем в конце URL и без него, страницы с UTM-метками, попадающие в индекс как отдельные URL. У магазинов на WooCommerce отдельная головная боль - сортировка и пагинация в каталоге создают почти бесконечное число комбинаций адресов с одинаковым содержанием.

Вторая часть истории - качество текста. Рерайт карточек товаров под копирайта «уникализация процентов на 90» по факту всё равно распознаётся как низкоуникальный контент, и такие страницы просто не попадают в индекс, даже если технически всё настроено правильно. Если нужна не разовая правка, а системная работа с технической частью сайта - от чистки дублей до перенастройки canonical и sitemap - этим стоит заниматься на регулярной технической поддержке сайта, а не разовым патчем, который через пару месяцев снова расползётся при следующем обновлении CMS.

Ручные санкции и алгоритмические меры: когда причина не в технике

Если с robots.txt, canonical и дублями всё чисто, а страниц в индексе всё равно нет - иду в Яндекс.Вебмастер, раздел «Диагностика» → «Безопасность и нарушения» и «Меры, принятые к сайту». Там отображаются накопленные санкции: за некачественный контент, за накрутку поведенческих факторов, за покупные ссылки низкого качества. Отдельная категория - взломанные сайты. Видел кейс, когда на сайте на WordPress злоумышленники внедрили скрытый спам-раздел с рекламой казино через уязвимый плагин, и Яндекс исключил из индекса не только эти страницы, а весь домен целиком до устранения проблемы и повторной проверки.

Как автоматизировать мониторинг индексации вместо ручных проверок раз в месяц

Проверять индексацию руками раз в месяц - плохая практика: за месяц можно потерять половину каталога и не заметить. У себя настраивал связку через Yandex Webmaster API и n8n: сценарий раз в сутки запрашивает количество страниц в поиске и в обходе, сравнивает с показателем прошлого дня и при просадке больше заданного порога шлёт уведомление в Telegram. Для небольших проектов такой сценарий можно собрать и без n8n - на Python по тому же API, с отправкой алертов через бота на aiogram. Похожий рабочий вариант такого мониторинга оформлен как готовый скрипт проверки индексации через API Яндекс.Вебмастера - быстрее адаптировать под свой проект, чем писать с нуля.

Частые вопросы

Сколько времени сайт индексируется в Яндексе после публикации?

При условии, что сайт добавлен в Яндекс.Вебмастер и sitemap подан вручную, первые страницы попадают в обход за 3-7 дней, а в поиск - за 2-4 недели. Без регистрации в Вебмастере и внешних ссылок на новый домен этот срок растягивается на месяцы.

Может ли robots.txt по ошибке закрыть весь сайт от Яндекса?

Да, и это одна из самых частых причин на практике. Строка Disallow: /, оставшаяся после переноса с тестового окружения или смены хостинга, блокирует обход всего домена. Проверяется за минуту в Яндекс.Вебмастере через инструмент «Анализ robots.txt».

Почему страницы были в поиске, а потом пропали?

Чаще всего это дубли (переезд на новый шаблон без корректных редиректов), падение качества контента после массового автоматического рерайта или санкция за поведенческие накрутки. Проверяется в разделе «Безопасность и нарушения» Яндекс.Вебмастера - там видно, применялись ли меры к сайту.

Нужно ли самому отправлять страницы на индексацию через Яндекс.Вебмастер?

Да, для новых и изменённых страниц это ускоряет обход - инструмент «Переобход страниц» в Вебмастере обрабатывает URL быстрее, чем робот находит их сам по ссылкам. Но это не заменяет исправление технических причин, из-за которых страница вообще не попадает в индекс.