Индексация сайта: почему страниц нет в поиске и что делать

Как страница попадает в поиск: три этапа

В августе я разбирал индексацию своего сайта и нашел статью, которая за три месяца не собрала ни одного показа. Инструмент «Проверка URL» (URL Inspection) в Google Search Console ответил коротко: страницы в индексе нет, причина - «Не найдено (404)», последнее сканирование 8 мая, робот Googlebot для смартфонов. Так выглядят сохраненные данные последнего обхода. Тот же инструмент умеет запросить страницу заново, на месте: в тот же день адрес ответил кодом 200, к индексированию претензий нет.

По ссылке с соседнего материала робот пришел до публикации, получил 404 и не возвращался три месяца. Не вернули его ни карта сайта, ни ссылка с хаба кластера. Готовый текст на 3 300 слов пролежал вне поиска из-за одного визита в неудачный момент.

Чтобы понять, где отвалилась страница, этапы надо развести.

Обнаружение. Поиск узнает адрес: из карты сайта, по внутренней ссылке с уже известной страницы, по внешней ссылке с чужого сайта, через ручную отправку в панели вебмастера. Пока адреса нет ни в одном источнике, страницы для поиска не существует.

Обход и отрисовка. Робот запрашивает страницу и забирает исходный код. JavaScript выполняется позже, отдельной очередью, поэтому содержимое, которое дорисовывается скриптом, в первый заход робот может не увидеть. Поиск при этом смотрит на мобильную версию: сайты обходит Googlebot для смартфонов, он же указан в отчетах как агент последнего сканирования.

Индексация. Поиск решает, брать ли страницу в базу. Обход такого решения не гарантирует: адрес можно посетить и оставить снаружи.

Ранжирование идет четвертым этапом. Позиция считается среди страниц, которые уже в базе. Страница вне индекса не занимает в выдаче никакого места - ни первого, ни сотого.

Отчет «Индексирование страниц» (Page indexing) разложен по тем же состояниям: часть адресов известна и не обойдена, часть обойдена и оставлена вне базы, остальные закрыл сам сайт.

Как проверить, есть ли страница в индексе

Точный ответ по одному адресу дает панель вебмастера, остальные способы - оценка на глаз.

• Проверка URL в Search Console. Вставьте адрес в строку сверху. Инструмент отвечает, есть страница в индексе или нет, когда робот заходил в последний раз и какую версию Google счел канонической. Здесь же кнопка «Запросить индексирование»
• «Страницы в поиске» в Яндекс Вебмастере. Раздел показывает добавленные и исключенные адреса с датами и причинами
• Оператор site:. Запрос вида site:example.com/page показывает, знает ли поиск конкретный адрес. Для одной страницы годится. Для подсчета всех страниц сайта - нет: общее число по оператору приблизительное и меняется от запроса к запросу
• Поиск по точной фразе. Возьмите предложение из середины текста, закавычьте и отправьте в поиск. Если страница в базе, она найдется по своему тексту

Способ, которого больше нет: сохраненная копия. Google убрал оператор cache: и ссылку на кэш из выдачи в 2024 году, так что посмотреть, каким поиск видел страницу, уже нельзя. У Яндекса сохраненная копия осталась и открывается из меню сниппета.

У проверки URL есть ограничение, о котором забывают. Инструмент работает только с тем ресурсом, который открыт в панели. Домен с www и без него, версии на http и https - в Search Console это четыре разных ресурса. Страница может стоять в индексе по одному из них, пока вы проверяете ее по другому. Если панель отвечает, что адрес не принадлежит ресурсу, дело в том, какую версию домена подтвердили при добавлении сайта.

Положительный вердикт выглядит как зеленая отметка и блок покрытия под ней: дата последнего сканирования, источник обнаружения, выбранная каноническая страница. Дата тут важнее самого вердикта: она показывает, какую версию страницы поиск видел последней.

Отрицательный вердикт отличается одной строкой - причиной. Она и есть ответ на вопрос, чинить страницу или ждать.

Статусы Search Console: что значит каждый

На моем сайте картина на 7 августа 2026 была такая: 167 страниц в индексе, 80 вне его. Почти треть известных Google адресов в поиск не попала. Разбивка по причинам: переадресация - 41, просканирована и не проиндексирована - 25, не найдено - 13, обнаружена и не проиндексирована - 1. Плюс две страницы с пометкой «проиндексировано, несмотря на блокировку в файле robots.txt». Цифры типичные для сайта, который пережил переезд структуры.

В отчете все адреса, которые знает Google. Карта сайта для этого списка - один источник из нескольких: туда же попадают старые URL, служебные файлы и страницы, найденные по ссылкам. Поэтому число в отчете почти никогда не сходится с числом страниц в карте сайта, и пугаться расхождения не стоит.

Статус	Источник	Что произошло	Что делать
Не найдено (404)	сайт	В момент обхода сервер ответил, что страницы по адресу нет	Вернуть код 200 или согласиться с удалением. После починки отправить на переобход
Страница с переадресацией	сайт	Адрес отдает 301 или 302, в индекс идет конечная страница	Само по себе не ошибка. Проверить длину цепочки и код ответа конечного адреса
Просканирована, но пока не проиндексирована	Google	Робот забрал страницу и не включил ее в базу	Смотреть на уникальность текста и внутренние ссылки. Переобход помогает слабо
Обнаружена, страница пока не проиндексирована	Google	Адрес известен, робот до него не дошел	Поставить ссылки со страниц, которые робот уже обходит. Проверить время ответа сервера
Страница с тегом noindex	сайт	В коде страницы или в заголовке ответа стоит запрет на индексирование	Снять запрет, если он попал случайно, и отправить адрес на переобход
Заблокировано в файле robots.txt	сайт	Обход адреса запрещен правилом Disallow	Убрать правило или сознательно оставить страницу вне поиска
Проиндексировано, несмотря на блокировку в файле robots.txt	сайт	Google узнал адрес по ссылкам и взял его, не читая содержимое	Открыть обход и поставить noindex. Один robots.txt страницу из индекса не убирает
Страница является копией, Google выбрал другую каноническую страницу	Google	Поиск счел адрес дублем и оставил в базе другую версию	Свести дубли, проставить canonical на нужную версию, убрать внутренние ссылки на копии
Страница является копией, отправленный URL не выбран в качестве канонического	Google	В карте сайта отправлен один адрес, каноническим Google выбрал другой	Сверить, что указано в canonical, и привести карту сайта в соответствие
Альтернативная страница с правильным каноническим тегом	сайт	Страница сама указывает на другую как на основную	Ничего. Так и задумано
Ошибка сервера (5xx)	сайт	Сервер не отдал страницу в момент визита робота	Проверить логи и время ответа. На разовый сбой можно не реагировать
Заблокировано из-за ошибки 401 или 403	сайт	Доступ к странице закрыт авторизацией или правами	Открыть доступ роботу или оставить страницу закрытой сознательно

Четыре строки таблицы путают чаще остальных.

«Обнаружена» и «просканирована» описывают разные состояния. В первом случае Google знает адрес и до него не дошел, страница висит в очереди. Во втором робот пришел, забрал содержимое и решил оставить страницу вне базы. Первое лечится ссылками и скоростью ответа сервера, второе - содержанием.

Запись «Альтернативная страница с правильным каноническим тегом» пугает зря. Так помечаются версии страниц, которые сами указывают на основную: адреса с параметрами, страницы пагинации, языковые копии. Чинить тут нечего.

Со статусом «просканирована, но пока не проиндексирована» сложнее. Google не пишет, что именно ему не понравилось, вердикт вынесен по содержанию. На практике под него попадают тонкие тексты, страницы-близнецы и адреса без единой внутренней ссылки. Кнопка переобхода помогает слабо: робот придет второй раз и вынесет то же решение.

«Страница с переадресацией» вообще не диагноз в том смысле, в каком его ищут. Так помечается любой известный Google адрес, который отдает 301. Из 41 такой записи в моем отчете часть - двухступенчатый переезд: старый корневой адрес ведет на хаб бывшего кластера, а тот уже на профильный. Два перехода вместо одного тратят бюджет обхода и хуже передают вес. Разбор видов переадресации и выбора между ними - в материале про 301 и 302 редиректы.

Отчет удобнее читать по строкам. Клик по причине открывает список адресов с датой сканирования по каждому: там сразу видно, попали ли под статус рабочие страницы блога или только технический мусор вроде старых адресов и файлов шрифтов. После починки в том же окне работает кнопка «Проверить исправление»: Google перепроверяет выборку и снимает статус со всей группы, если ошибки больше нет. Данные отчета отстают на два-три дня, поэтому вчерашние правки в нем еще не отражены.

Остальные отчеты панели, в том числе «Эффективность» (Performance) и расширенные результаты, разобраны отдельно: отчеты Google Search Console.

Статусы Яндекс Вебмастера: чем отличается логика

Механика двух поисков совпадает, а подача отличается сильно.

Яндекс называет причину прямо. Там, где Google ограничивается формулировкой «просканирована, но пока не проиндексирована», Яндекс ставит статус «Малоценная или маловостребованная страница». Приятного мало, зато понятно направление работы: содержание, спрос на страницу, ее место в структуре.

База обновляется пакетами. Страницы попадают в поиск и уходят из него не по одной, а на обновлении базы. Отсюда эффект рывка: неделю ничего не происходит, потом за сутки в поиск заходят двадцать адресов сразу. У Google это идет плавнее.

Яндекс хранит историю. По каждому адресу в разделе «Страницы в поиске» видно, когда он ушел из поиска и почему. Search Console истории по конкретному адресу не держит: там всегда текущее состояние.

Проверить один адрес можно и в Вебмастере. В разделе «Индексирование» лежит инструмент проверки статуса URL: он отвечает, обходил ли робот страницу, попала ли она в поиск и по какой причине исключена. Ответ приходит не сразу, запрос встает в очередь и обрабатывается в течение дня.

Переобход тоже есть у обоих. У Яндекса это отдельный инструмент со своей суточной квотой: она зависит от размера сайта и видна в интерфейсе, у Google такой цифры на экране нет. Есть и поддержка протокола IndexNow, который сообщает поиску об изменениях без ожидания робота.

Общая закономерность на сайтах, за которыми я слежу: Яндекс забирает новые страницы быстрее Google. Разрыв доходит до недель, и это ни о чем не говорит. У поисков разная скорость обхода и разные требования к содержанию.

Одна и та же страница стоит в индексе одного поиска и отсутствует в другом. Для сайтов, которые работают на Казахстан и Россию сразу, это обычное дело. Причина и лечение у поисков будут разными, поэтому разбираться надо в обеих панелях.

Семь причин, по которым страницы нет в индексе

1. Робот приходил до публикации. Самая обидная причина. Адрес попал в карту сайта или получил ссылку раньше, чем страница открылась: робот увидел 404 и ушел. Вернется он тогда, когда сочтет нужным. В моем случае не вернулся за три месяца. Смотрите дату последнего сканирования в проверке URL: если она раньше даты публикации, дело в этом. Тот же диагноз получают страницы, которые отдавали ошибку пару часов во время переезда на новый шаблон: робот заглянул ровно в это окно.

2. Страница закрыта самим сайтом. Два разных запрета, которые путают. Тег noindex разрешает обход и запрещает показ в выдаче. Правило Disallow в robots.txt запрещает обход, но известный по ссылкам адрес может попасть в индекс без содержимого. Так и появляется статус «проиндексировано, несмотря на блокировку». Разбор директив и порядка их применения - в статье про robots.txt. Отдельная история - доступ для роботов AI-моделей, они ходят по своим правилам: почему AI не видит сайт.

3. Поиск выбрал канонической другую страницу. Карточка товара доступна по трем адресам с разными параметрами фильтра, а у магазина в США к ним добавляется версия для другого штата. Google оставляет в базе одну версию, остальные помечает копиями. Смотрите строку «Каноническая страница, выбранная Google» в проверке URL. Как искать и сводить такие пары: дубли страниц.

4. Цепочка переадресаций вместо одного перехода. Старый адрес ведет на промежуточный, тот на конечный. Робот проходит цепочку целиком, и на каждом звене теряется часть бюджета обхода и веса. При переезде структуры такие хвосты остаются сотнями.

5. На страницу никто не ссылается. Адрес есть в карте сайта, но ни одна внутренняя ссылка на него не ведет. Для поиска это сигнал, что страница второстепенная, и в очереди она стоит последней. На конструкторах вроде Тильды такие сироты появляются пачками: страница опубликована, а в меню, в хабе кластера и в блоке похожих материалов ее не добавили. Лечится ссылкой с хаба и двух соседних материалов. Роль карты сайта в обнаружении - в отдельной статье: карта сайта sitemap.xml.

6. Содержание не проходит порог. Шаблонные страницы под города вроде «доставка в Алматы» и «доставка в Шымкенте», где меняется название города и телефон, попадают в статус «просканирована, но пока не проиндексирована». То же с товарными карточками, где описание взято из прайса поставщика. Переобход не спасает, помогает уникальное содержание.

7. Сервер отвечает ошибкой или слишком долго. Робот приходит с ограничением по времени. Ответил сервер 503 в момент визита - адрес уходит в отчет с ошибкой, и разовый сбой ничем не грозит, а регулярный урезает частоту визитов. Медленный ответ работает иначе: хостинг в Ташкенте отдает страницу за восемь секунд, робот может не дождаться и уйти ни с чем. Как измерять время ответа и что с ним делать: скорость сайта и Core Web Vitals.

Порядок действий, если страницы нет в индексе

Порядок от быстрого к долгому. Первые четыре шага занимают пять минут и снимают большинство вопросов.

• Код ответа. Открыть адрес в режиме инкогнито и проверить, что сервер отдает 200, а не 404 или переадресацию на другую страницу
• Запреты. Найти в исходном коде meta robots с noindex, затем открыть robots.txt и убедиться, что путь не закрыт правилом Disallow
• Каноническая. Сверить, что тег canonical указывает на сам адрес, а не на соседнюю страницу
• Дата последнего сканирования. Посмотреть в проверке URL, когда робот заходил. Дата раньше публикации означает, что поиск видел старую версию страницы или пустоту
• Отрисовка. В проверке URL нажать «Изучить просканированную страницу» и прочитать отрисованный код. Если текста статьи в нем нет, а на экране он виден, содержимое дорисовывается скриптом и поиск его не забрал
• Внутренние ссылки. Поставить ссылку на страницу с хаба кластера и из двух соседних материалов. Без этого адрес остается сиротой в карте сайта
• Переобход. Отправить адрес через «Запросить индексирование», если техническая причина найдена и устранена
• Ожидание. На скорость попадания в индекс возраст домена влияет сильнее, чем содержание страницы. На сайте, который поиск обходит годами, статья появляется в выдаче через пятнадцать минут после отправки. На домене, поднятом месяц назад, те же пятнадцать минут превращаются в три недели, и ускорить это нечем

Отдельный пункт, который вырос из истории с 404: отправлять новый адрес в индекс вручную, в день публикации. Тридцать секунд работы против трех месяцев нулевого трафика. Если материалов выходит много, отправку стоит вписать в чек-лист публикации рядом с проверкой мета-тегов и ссылок. Вместе с остальной технической рутиной она попадает и в чек-лист SEO-аудита.

Заодно имеет смысл почистить сам отчет. У меня в списке карт сайта висел robots.txt, отправленный туда по ошибке: Google каждый раз отвечал «неподдерживаемый формат файла». На индексацию это не влияло, а читать отчет мешало. Постоянная строка с ошибкой отвлекает от того, что стоит чинить.

Что дает запрос на переобход

Кнопка «Запросить индексирование» ставит адрес в приоритетную очередь обхода. Это очередь на визит робота. Взять страницу в базу или нет, поиск решает после визита, по обычным правилам, и кнопка на это не влияет.

Отправка работает, когда техническая причина найдена и устранена: был 404, стал 200, сняли noindex, подняли упавший сервер. Робот приходит и видит исправленную страницу вместо старой. Второй случай - публикация нового материала: робот придет и сам, но неизвестно когда, сегодня или через месяц.

В Яндекс Вебмастере отдача заметнее. По моим наблюдениям, отправленная страница подхватывается за пару дней, эффект видно на третий. У Google результат размыт: адрес уходит в очередь, а дальше остается ждать и смотреть дату обхода в проверке URL.

Толку почти нет там, где вердикт вынесен по содержанию. Со статусом «просканирована, но пока не проиндексирована» второй визит закончится тем же решением, пока не изменятся текст и ссылочное окружение. Повторные отправки одного адреса очередь тоже не двигают: Google пишет об этом в справке, и наблюдения это подтверждают. Пятая отправка работает так же, как первая.

Дневная квота на ручные отправки ограничена. Точное число Google не публикует, интерфейс отвечает строкой «Превышена квота». На практике она кончается на первом десятке адресов за сутки. Для массовых задач вроде переиндексации после переезда ручная отправка не подходит.

Что работает вместо нее на объеме: карта сайта с честной датой изменения в lastmod, ссылки на обновленные страницы с посещаемых разделов и протокол IndexNow для Яндекса и Bing. Все три способа сообщают поиску, куда идти в первую очередь, но в базу страницу берет уже сам поиск.

Рутина, которая закрывает большинство случаев

Индексация отваливается тихо. Страница выглядит опубликованной, ссылка с хаба стоит, в карте сайта адрес есть, а показов ноль, и заметно это только через полгода по отчету «Эффективность».

Три привычки снимают проблему до того, как она начнет стоить трафика:

• Отправлять каждый новый адрес в индекс в день публикации
• Раз в месяц открывать отчет об индексировании и проверять, не попали ли рабочие страницы блога в списки 404 и «просканирована, но пока не проиндексирована»
• Смотреть на конкретный адрес через инструмент проверки URL. Общее число страниц в отчете говорит о масштабе, причину показывает только проверка одного адреса

Частые вопросы

Сколько времени нужно, чтобы страница попала в индекс

Зависит от возраста домена. На старом сайте с историей обхода статья заходит в выдачу через пятнадцать минут после отправки кнопкой «Запросить индексирование». На домене, которому месяц, тот же материал ждет своей очереди до трех недель, и для свежего сайта это нормальный срок. Гарантий не дает ни Google, ни Яндекс: обход не обязывает поиск включать страницу в базу. Если на старом домене прошло больше недели, смотрите причину в отчете.

Почему страница есть в Яндексе, но нет в Google

Два поиска обходят сайт независимо, по своим очередям, и решение о включении в базу принимают тоже независимо. Яндекс при этом забирает новые страницы быстрее, поэтому разрыв в первые недели после публикации - штатная картина. Смотреть надо в обеих панелях: причина и способ починки у каждого поиска свои. Тревожным сигналом расхождение становится тогда, когда в одном поиске страниц кратно меньше и это длится месяцами.

Что значит «просканирована, но пока не проиндексирована»

Робот забрал страницу и не включил ее в индекс. Причину Google не называет. На практике под статус попадают тонкие тексты, страницы-близнецы, шаблонные генерации под города и адреса, на которые внутри сайта не ведет ни одна ссылка. Отправка на переобход помогает слабо: менять надо содержание и ссылочное окружение страницы. Частота визитов робота тут ничего не решает.

Помогает ли карта сайта попасть в индекс быстрее

Карта сайта решает задачу обнаружения: поиск узнает адрес, даже если на него нет ссылок. Ни на скорость обхода, ни на решение о включении в базу карта не влияет. Страница, которая есть только в карте сайта и больше нигде, для поиска выглядит второстепенной и стоит в очереди последней.

Сколько раз можно отправлять страницу на переобход

Дневной лимит есть, точное число Google не публикует. Повторные отправки одного и того же адреса очередь не ускоряют: второй и пятый запрос работают одинаково. Смысл есть в одной отправке после того, как техническая причина устранена. Для массового переобхода после переезда работают карта сайта и внутренние ссылки.

Почему число страниц по оператору site: не совпадает с отчетом в Search Console

Оператор site: дает приблизительную оценку, которая меняется от запроса к запросу и зависит от датацентра. Search Console считает по конкретному ресурсу и разделяет адреса по статусам. Для одной страницы оператор годится как быстрая проверка. Для подсчета всех страниц сайта надо смотреть отчет об индексировании: там видно и число, и причины непопадания.