Почему сайта нет в поиске: проверка по шагам от robots до контента

Ко мне периодически приходят с одной и той же жалобой: сайт готов, деньги на разработку потрачены, а в Google и Яндексе его будто не существует. Разбираться, почему сайт не в поиске, приходится по шагам - от robots.txt и мета-тегов до качества контента и ссылочного веса. Ниже чек-лист, которым пользуюсь сам, когда клиент присылает такую задачу: 7 шагов проверки, каждый с конкретным местом, куда смотреть.

Почему сайта нет в поиске: с чего начинаю проверку

Первым делом ввожу в строке поиска site:домен.ru отдельно в Google и отдельно в Яндексе. Индексы у них разные: страница может быть в одном и полностью отсутствовать в другом. Если оператор site не находит вообще ничего, сайт либо новый и его ещё не обошёл робот, либо закрыт от индексации техническими средствами - это выясняется дальше по чек-листу.
Если сайт запущен недавно, паниковать рано. После добавления sitemap.xml в Google Search Console и Яндекс.Вебмастер первые страницы обычно появляются в индексе в течение 1-2 недель. Крупный каталог с сотнями страниц индексируется дольше, потому что у робота есть лимит на количество страниц, которые он обходит за один заход - это называют краулинговым бюджетом, и на новых доменах он невелик.
Если сайту больше двух-трёх месяцев, а страниц в индексе всё ещё нет или их заметно меньше, чем реально существует, дальше смотрю на конкретные технические причины, а не жду ещё.

robots.txt и мета-теги: не блокирует ли сайт сам себя

Самая частая причина отсутствия сайта в поиске, с которой сталкиваюсь на практике: разработчик держал сайт закрытым от индексации на этапе разработки и забыл открыть после запуска. Проверяю это в первую очередь.
В WordPress за это отвечает встроенная настройка в Настройки - Чтение - пункт «Попросить поисковые системы не индексировать сайт». Она стоит независимо от плагинов вроде Yoast SEO и часто остаётся включённой после переноса с тестового домена на боевой - я такое видел на десятке проектов, где сайт был технически исправен, но невидим для роботов именно из-за этого чекбокса.
В Тильде в настройках сайта есть отдельный переключатель, который скрывает весь сайт от поисковых систем целиком - его тоже иногда забывают выключить после публикации, особенно если сайт делали заранее и включали защиту паролем на время работы.
Дальше открываю сам файл robots.txt по адресу вида домен.ru/robots.txt и ищу строку Disallow: / - если она стоит без уточнения раздела, это блокирует обход всего сайта целиком. Отдельно проверяю мета-тег на ключевых страницах: <meta name="robots" content="noindex, nofollow"> в head мог остаться от миграции или попасть туда через настройки шаблона. Такой же эффект даёт HTTP-заголовок X-Robots-Tag: noindex, который не виден в исходном коде страницы и проверяется только через инструменты разработчика в браузере или в самой Search Console.

Sitemap и Search Console: как проверить, что страницы реально в индексе

Sitemap.xml сам по себе не гарантирует индексацию - это список страниц, которые я прошу робота посмотреть, а не команда добавить их в поиск. Проверяю статус каждой группы страниц в отчёте о покрытии.
В Google Search Console это раздел «Страницы», где видно причины исключения: «Обнаружена, но пока не проиндексирована», «Страница считается дублирующей», «Заблокировано файлом robots.txt» и так далее - формулировка сразу указывает, в какую сторону чек-листа идти дальше. В Яндекс.Вебмастере аналогичная информация лежит в разделе «Индexирование - Страницы в поиске» и «Исключённые страницы», причины там сформулированы иначе, но логика та же.

Если страница числится «Обнаружена, не проиндексирована» месяцами - это почти всегда сигнал не про технику, а про качество: робот страницу нашёл, зашёл, но решил, что добавлять её в выдачу нет смысла. Это уже вопрос контента, о нём ниже.

Технические причины, из-за которых страницы не индексируются

После блокировок и sitemap смотрю на пласт менее очевидных технических проблем.

• Смешанный контент на HTTPS - если часть картинок или скриптов подгружается по http, браузер и робот видят предупреждение о незащищённом соединении, это снижает доверие к странице.
• Цепочки редиректов после переезда на новый домен или смены www на без-www - если со старого URL до финальной страницы больше двух-трёх прыжков, робот может не дойти до конца цепочки.
• Дубли по параметрам URL - фильтры каталога, utm-метки и сортировка создают десятки версий одной и той же страницы с разным адресом. Без canonical-тега, указывающего на основной URL, поисковик распыляет вес между дублями вместо того, чтобы поднять один сильный вариант.
• Контент, отрисованный только через JavaScript без серверного рендеринга. Для одностраничных приложений и SPA на React или Vue текст, который появляется после загрузки скриптов, не всегда попадает в индекс так же надёжно, как обычный HTML. Когда делаю лендинг на Next.js, сразу закладываю серверный рендеринг или статическую генерацию именно ради того, чтобы текст был виден роботу сразу, без ожидания выполнения скриптов.

Контент, из-за которого страницы не индексируются

Если с блокировками и техникой всё чисто, а страницы всё равно не попадают в выдачу, дело в содержимом.
Типичный случай для интернет-магазина на WooCommerce - карточки товаров с одинаковыми описаниями, различающимися только цветом или размером в названии. Поисковик видит десятки почти идентичных страниц и индексирует в лучшем случае одну-две, остальные помечает как дубли низкой ценности. То же самое происходит с каталогом на Тильде, если товарные карточки заполнены одинаковым шаблонным текстом без уникального описания и без заполненных SEO-полей title и description для каждой позиции.
Отдельно смотрю на объём текста и его смысловую нагрузку: страница из двух предложений и картинки редко получает место в выдаче, если рядом конкуренты дают развёрнутый ответ на тот же запрос. Не обязательно раздувать текст искусственно - робот достаточно точно отличает содержательный текст от накрутки водой ради объёма.
Ещё одна частая находка - несовпадение canonical-тега с реальным URL страницы. Такое бывает, когда шаблон копировали с другой страницы и забыли поменять адрес в теге <link rel="canonical" href="..."> - в этом случае робот считает основной вообще другую страницу, а текущую не индексирует как дубль.

Внутренняя перелинковка и ссылочный вес

Страница, на которую не ведёт ни одна ссылка с сайта, называется висячей - робот может её найти только через sitemap, и то не всегда быстро. Проверяю, есть ли на сайте меню, каталог или блок «похожие материалы», через который можно дойти до каждой значимой страницы за два-три клика с главной.
Смотрю также на битые внутренние ссылки - они не только портят опыт посетителя, но и обрывают путь робота при обходе сайта. После переезда на новый домен или смены структуры URL часть старых ссылок в меню и футере может вести в никуда, если редиректы настроены не на все разделы, а точечно.
Внешние ссылки с других сайтов по-прежнему работают как сигнал доверия, но начинать с них не стоит - если у сайта не решены проблемы из предыдущих пунктов, внешние ссылки не вытащат его в топ, а просто укажут роботу на страницу, которую он и так уже не готов индексировать.

Частые вопросы

Сколько времени сайт индексируется после запуска?

После добавления sitemap.xml в Search Console и Яндекс.Вебмастер первые страницы обычно появляются в индексе в течение 1-2 недель. Большой каталог с сотнями страниц может индексироваться дольше из-за ограниченного краулингового бюджета на новом домене.

Почему страница есть в sitemap, но не в поиске?

Sitemap только подсказывает роботу, какие страницы стоит посмотреть, а не гарантирует их попадание в выдачу. Причину смотрю в отчёте о покрытии в Search Console или в разделе «Индексирование» Яндекс.Вебмастера - там указано, заблокирована ли страница, считается ли дублем или просто ещё не обойдена.

Может ли сайт выпасть из поиска после редизайна?

Да, если при смене шаблона или структуры адресов не настроены редиректы со старых URL на новые, или в новый шаблон случайно попал noindex по умолчанию для всех страниц. После любого крупного обновления сайта проверяю robots.txt, canonical-теги и статус ключевых страниц в Search Console заново.

Как понять, что сайт попал под санкции поисковой системы?

В Google Search Console это видно в разделе «Меры, принятые вручную», в Яндекс.Вебмастере - в разделе «Диагностика» или «Безопасность и нарушения». Если там пусто, а сайт всё равно не индексируется, причина почти всегда в технике или контенте, а не в санкциях.