Как поисковые системы «видят» бизнес-сайт: объясняем простыми словами

Владелец сайта смотрит на свой сайт, как человек: главный экран, услуги, кейсы, форма для заявки. Поисковая система смотрит на тот же сайт совсем по-другому – как программа, которая последовательно решает три задачи: получится ли дойти до текста на страницах, о чем вообще этот текст, и стоит ли показывать эти страницы людям. Разница между этими двумя взглядами и определяет, попадет ли ваш бизнес в поиск или для Яндекса и Google вас как будто нет.

Ильдар Невмятуллин, руководитель SEOJazz – агентства поискового продвижения (SEO), рассказывает, как поисковые системы устроены «изнутри», и почему то, что видит на вашем сайте поисковая программа, часто отличается от того, что видит человек. По его словам, большинство ошибок в продвижении происходят не в тонких технических настройках, а из-за того, что бизнес не представляет, как устроен процесс, за который платит. Понимание этого процесса – единственное, что позволяет предметно разговаривать с подрядчиком, задавать правильные вопросы и понимать отчеты, а не верить им «на слово».

Коротко

• Поисковая система смотрит на сайт не глазами, а специальной программой – поисковым роботом. Он последовательно проходит три этапа: сначала обходит сайт и скачивает страницы, потом заносит их в свою базу, потом решает, какую из них показать пользователю в ответ на конкретный запрос.

• Робот видит только текст, ссылки и служебную разметку страницы. Все, что появляется на сайте после клика человека, всплывающие окна, содержимое картинок и видео – для робота либо не существует, либо появляется с большой задержкой.

• Яндекс и Google работают по-разному: с разной скоростью заносят страницы в базу, по-разному оценивают поведение людей на сайте и по-разному относятся к региону. Настраивать сайт нужно под обе системы отдельно.

• В прошлые годы к Яндексу и Google добавились «умные помощники» – ChatGPT, Perplexity, Алиса и другие. У них свои программы, которые тоже ходят по сайтам. Если ваш сайт от них закрыт, вас не будет в ответах, которые они дают людям, – даже если в обычном поиске вы на первом месте.

• Причины, по которым сайт «пропадает» из поиска, обычно простые: сайт закрыт от поисковой системы техническими настройками, страницы дублируются, содержимое слабое или сайт продвигается не в том регионе. Проверить все это можно за один вечер бесплатно.

Что значит «поисковик видит сайт»: три этапа проверки

Фраза «поисковая система видит сайт» – метафора. На самом деле никаких «глаз» у поиска нет. Есть автоматическая программа, которая последовательно делает три разные вещи, и на каждом этапе ваш сайт может «потеряться».

Первый этап – обход сайта. Специальная программа-робот (в Google это Googlebot, в Яндексе – YandexBot) заходит на сайт по адресу страницы и скачивает ее содержимое. Задача робота – просто узнать, что такая страница существует и что на ней есть.

Второй этап – занесение в базу. Скачанные страницы обрабатываются. Из них поисковая система извлекает текст, ссылки, служебные пометки, определяет язык страницы и ее тему, а затем заносит все это в свою огромную базу. Эту базу называют «индекс поиска», а сам процесс – «индексация». Только после этого страница физически может появиться в результатах поиска.

Третий этап – выстраивание порядка в выдаче. Когда человек вводит запрос в Яндекс или Google, поиск обращается к своей базе, находит все подходящие страницы и выстраивает их в порядке от самой полезной к менее полезной. Это называется «ранжирование». То, что вы видите на первой странице выдачи, – результат работы алгоритма, а не факт того, что страница вообще есть в базе.

Практический вывод для бизнеса: страница может быть скачана роботом, но не занесена в базу; занесена в базу, но не попасть в первую десятку; быть в первой десятке по одному запросу и вообще не показываться по похожему. Все эти ситуации выглядят одинаково для владельца сайта – «нас не видно», – но разбираться в них нужно по-разному.

Как эти три этапа работают на практике

Как поисковый робот попадает на ваш сайт. У робота есть список адресов, куда нужно зайти. Этот список берется из трех источников: страницы, которые робот уже видел раньше на этом сайте; специальный служебный файл «карта сайта» (называется sitemap.xml – вы можете указать в нем все важные страницы, чтобы робот точно их не пропустил); ссылки с других сайтов, которые ведут к вам. Робот заходит по адресу, скачивает страницу, находит на ней ссылки на другие страницы и добавляет их в свою очередь на будущий обход.

Скорость этого обхода не бесконечная. Поисковая система на каждый сайт выделяет определенный лимит – сколько страниц она готова просмотреть у вас за сутки. Этот лимит зависит от того, насколько сайт хорошо работает: если сервер отвечает быстро и без сбоев, робот заходит чаще; если сайт периодически «падает» или отвечает медленно, робот заходит реже – просто чтобы не мешать работе сайта.

Что происходит на этапе занесения в базу. Робот скачал страницу. Дальше поисковая система разбирает ее на элементы: находит заголовки (главный заголовок страницы, подзаголовки), основной текст, ссылки, подписи к картинкам, служебные пометки, дату публикации, язык. И решает: помещать эту страницу в базу или нет.

Причины, по которым уже помещенную в базу страницу могут потом оттуда убрать: обнаружены почти одинаковые дубли этой страницы; содержимое признано некачественным или бесполезным; страница помечена специальным тегом «не показывать в поиске»; или в файле-настройке для роботов страница закрыта от индексации; или весь сайт попал под санкции.

Как формируется первая страница выдачи. Это самая непрозрачная часть цепочки. Когда человек вводит запрос, алгоритм за долю секунды выбирает из огромной базы сотни или тысячи подходящих страниц и упорядочивает их по совокупности сигналов. Google, по своим признаниям, использует сотни таких сигналов, Яндекс раскрывает часть из них в своей справке для владельцев сайтов. В первую десятку попадает результат этой оценки.

Между этими тремя этапами нет прямой пропорции: сайт с миллионом страниц в базе может не иметь ни одной страницы в первой десятке, а сайт всего с двадцатью страницами – стабильно лидировать по нескольким сотням запросов. Все дело в качестве работы на каждом этапе.

Какую информацию поисковый робот собирает с вашего сайта

Полезно четко представлять, что именно уходит в поисковую систему при каждом обходе – тогда легче понять, почему одни изменения на сайте влияют на поиск, а другие нет.

Полный код страницы – включая текст, который видит человек, и служебные пометки, которые человеку не видны (заголовки для поиска, описания страниц, разметка для поисковых систем).

Все ссылки со страницы – и на другие ваши страницы (внутренние), и на сторонние сайты (внешние). По внутренним ссылкам робот идет дальше вглубь вашего сайта. По внешним – не идет, но учитывает, куда вы ссылаетесь и в каком контексте.

Специальные пометки о том, что показывать, а что нет. На каждой странице можно поставить пометку «эту страницу заносить в базу поиска» или «эту страницу в поиск не показывать». То же самое можно сделать для сайта целиком через файл с настройками (называется robots.txt).

Указание главной версии страницы. Если у одного и того же товара есть несколько похожих адресов (например, страница товара с разными фильтрами), можно указать поиску, какую из них считать главной. Тогда все остальные страницы поиск считает копиями главной и не показывает отдельно. Эта служебная пометка называется каноническим адресом.

Ответ сервера. Поиск смотрит, как сервер отвечает на запрос: страница работает нормально, страница переехала на другой адрес, страница не найдена, у сервера сбой. Это тоже влияет на индексацию.

Заголовки, тексты, подписи к картинкам, служебная разметка. Все, что определяет, о чем страница и по каким запросам ее показывать людям.

Структурные признаки. Как глубоко в структуре сайта находится страница (сколько кликов от главной), какие внутренние ссылки на нее ведут, как страница построена с точки зрения оформления заголовков и списков.

Все это уходит в базу и потом участвует в принятии решения: показывать вашу страницу человеку или показывать конкурента. Что не было скачано, в этой оценке не участвует.

Чего поисковый робот не видит на вашем сайте – и почему это дорого обходится бизнесу

Робот – не человек и не браузер. У него есть систематические ограничения, и каждое из них оборачивается для бизнеса упущенным поисковым трафиком.

Все, что появляется на странице только после клика или наведения мышкой. Раскрывающиеся вкладки с описанием услуг, всплывающие окна, содержимое, которое подгружается при прокрутке страницы, встроенные чат-боты – базовый робот такое либо не видит, либо видит с большой задержкой. Если ключевое описание вашей услуги «спрятано» в третьей вкладке, для поисковой системы этой услуги на странице просто нет.

Содержимое, которое собирается прямо в браузере с помощью программного кода. Есть современные сайты, которые устроены так: сервер отдает почти пустую страницу, а все содержимое (тексты, картинки, каталог товаров) добавляется программным кодом уже в браузере пользователя. Google умеет обрабатывать такие сайты, но с большой задержкой – сначала он индексирует пустую страницу, потом в отдельном подходе достраивает ее. Яндекс с таким содержимым работает хуже: часть текста может не попасть в базу вообще. Для интернет-магазинов и каталогов, сделанных на подобной технологии без специальной подготовки для поиска, это критично.

Разделы за паролем. Личные кабинеты, платный контент, партнерские программы – робот туда не заходит без доступа. Это правильно, но означает, что вся информация в закрытых разделах не участвует в поисковой видимости.

Текст, который находится внутри картинки. Робот определяет, что на странице есть картинка, но текст с нее не считывает. Если ваш прайс размещен на сайте только в виде картинки формата JPG, а под ней нет обычного текста, для поиска этого прайса не существует. Отдельная подпись к картинке (ее называют alt-текст) частично компенсирует это – робот ее читает.

Документы PDF, где страницы – это сканы или картинки. Если внутри PDF есть настоящий текст, робот его читает и заносит в базу. Если внутри картинки-сканы, а не текстовый слой, – не читает.

Все, что закрыто в служебном файле с настройками для роботов. Даже если страница работает и красиво оформлена, запрет в файле robots.txt останавливает робота на пороге – он туда не пойдет.

Бесконечные варианты страниц с разными параметрами. Фильтры в каталогах, сортировки, поиск по сайту – робот может увидеть все эти адреса, но обычно не заносит их в базу, чтобы не расходовать выделенный на ваш сайт лимит обхода.

Каждая из этих «слепых зон» бьет по бизнесу конкретно. Услуга спрятана в раскрывающейся вкладке – вас не находят по ее названию. Каталог товаров сделан на технологии, где страницы собираются в браузере, – карточек товаров в базе Яндекса нет. Прайс – только на картинке, без текста – цены не участвуют в поиске. Диагностика этих проблем – половина технической работы над сайтом при старте продвижения.

Чем отличаются Яндекс и Google

Яндекс и Google – две разные системы с разными приоритетами, разной внутренней инженерией и разной аудиторией. Оптимизация под обе одновременно требует учета их отличий.

Что сравниваем	Яндекс	Google
Как называется робот	YandexBot (у него несколько подвидов под разные задачи)	Googlebot (отдельный для обычных и мобильных версий сайтов)
Как работает с содержимым, которое собирается в браузере	Работает с ограничениями – часть контента может не попасть в базу	Умеет обрабатывать, но с задержкой
Личный кабинет для владельцев сайтов	Яндекс Вебмастер (webmaster.yandex.ru)	Google Search Console (search.google.com/search-console)
Скорость первого попадания страницы в базу	Обычно несколько дней – до недели	Обычно быстрее: от нескольких часов до пары дней
Насколько важен регион	Очень важен: один и тот же запрос выдает разные результаты в разных городах	Регион учитывается, но заметно слабее для русскоязычного поиска
Насколько важно поведение людей на сайте	Один из главных сигналов: если люди быстро уходят обратно к выдаче, страница проседает	Тоже важно, но роль этого сигнала меньше и учитывается косвенно
Собственные санкции за нарушения	АГС (за сайты низкого качества), Минусинск (за плохие ссылки), Баден-Баден (за переспамленные тексты)	Ручные санкции сотрудников Google, автоматические понижения в алгоритмах
Как быстро попросить робота зайти повторно	Раздел «Инструменты → Переобход страниц» в Яндекс Вебмастере	Раздел «Проверка URL → Запросить индексирование» в Search Console

Практический вывод: если сайт хорошо ранжируется в Google, но плохо – в Яндексе, или наоборот, причина почти всегда лежит в этих различиях. Первое, что стоит проверить – умеет ли ваш сайт правильно отдавать содержимое роботам обеих систем, привязан ли он к нужному региону в Яндекс Вебмастере, отправлена ли карта сайта в обе системы.

По каким признакам поиск оценивает ваш сайт

Порядок в выдаче – это не одна метрика, а сумма сотен признаков, сгруппированных в несколько крупных направлений. Точные веса каждого признака поисковые системы не раскрывают, но сами направления известны и подтверждаются документацией Google и Яндекса.

Технические признаки. Скорость загрузки сайта, работает ли сайт нормально на мобильном телефоне, нет ли ошибок в работе сервера, чистый ли код страниц, включена ли защищенная версия сайта (адреса начинаются с https, а не с http), нет ли на сайте битых ссылок и одинаковых страниц. Технические признаки работают как «пропуск»: если что-то из критичного не в порядке, дальше поиск оценивать сайт не идет.

Признаки содержимого. Насколько текст на странице отвечает на вопрос человека, полностью ли раскрыта тема, уникальный ли текст, свежий ли, легко ли читается, есть ли структурированные части (заголовки, списки, таблицы). Google формулирует это как «полезный, надежный, ориентированный на людей контент». Яндекс – как соответствие содержимого запросу пользователя.

Ссылки со сторонних сайтов. Сколько других сайтов ссылается на ваш, насколько эти сайты авторитетны, естественно ли выглядит ссылочный профиль, что за тексты используются в ссылках. Ссылки с сильных отраслевых сайтов ценнее, чем много ссылок с непонятных ресурсов.

Поведение людей на сайте. Как часто люди кликают на вашу страницу в поисковой выдаче, сколько времени проводят на сайте, сколько страниц смотрят, возвращаются ли обратно к выдаче искать другую страницу. Если возвращаются быстро – плохой сигнал: пользователь не нашел, что искал. В Яндексе роль этого сигнала заметно выше, чем в Google.

Коммерческие признаки для сайтов услуг и магазинов. Есть ли на сайте цены, ассортимент, понятные условия доставки и оплаты, контактные данные, отзывы клиентов, юридическая информация о компании. Они особенно важны для Яндекса при оценке магазинов и услуг.

Региональные признаки. Соответствует ли сайт географическому запросу, привязан ли он в Яндекс Вебмастере к нужному городу, есть ли карточка компании в Яндекс Бизнесе и Google Business Profile, есть ли локальные отзывы и упоминания в справочниках.

Сигналы опыта, экспертизы, авторитетности и доверия. Google выделяет их отдельно: понятно ли, кто автор материала, есть ли у него опыт в теме, авторитетна ли сама компания, можно ли ей доверять. Это особенно важно для тем, которые прямо влияют на жизнь человека – медицина, финансы, юриспруденция.

Ключевое для бизнеса: сайт оценивается не по одному признаку, а по всем сразу. Идеальные тексты не спасут медленный сайт с плохой мобильной версией; безупречная техника не поможет странице со слабым или устаревшим содержимым. Подробнее о сроках, при которых эта совокупность признаков превращается в реальный поток заявок, – в материале о том, когда SEO начинает приносить прибыль

Как «видят» ваш сайт умные помощники: ChatGPT, Perplexity, Алиса и другие

Сегодня на сайты заходят не только Яндекс и Google, но и специальные программы больших умных помощников. Это отдельная от классического поиска история, и работает она по своим правилам.

Какие помощники сегодня приходят на сайты:

• GPTBot – программа компании OpenAI, собирает содержимое сайтов для обучения ChatGPT.

• ChatGPT-User и OAI-SearchBot – программы для случаев, когда ChatGPT в реальном времени ищет ответ на вопрос пользователя.

• PerplexityBot – программа сервиса Perplexity, который дает готовые ответы со ссылками на источники.

• ClaudeBot – программа компании Anthropic для их помощника Claude.

• Google-Extended – отдельная программа Google, которая отвечает за использование содержимого сайтов в ответах их умного помощника Gemini и в кратких ответах на страницах Google. Важно: если вы закроете Google-Extended, обычный Googlebot к вам все равно ходить будет.

• YandexGPTBot – программа Яндекса, собирает содержимое для генеративных сервисов Яндекса и для Алисы.

Что этим программам нужно от вашего сайта. В отличие от обычного поиска, они не ранжируют – они забирают куски вашего содержимого и вставляют их в ответы пользователю. Поэтому им важно другое: чтобы сайт был технически доступен именно для их программ (в служебном файле robots.txt); чтобы не было сложных защит от автоматических визитов; чтобы текст был построен понятно – с ясными заголовками, короткими абзацами, определениями, списками, таблицами; чтобы каждый смысловой кусок был самодостаточным – можно было понять его без чтения всей статьи.

Что теряет бизнес, если умные помощники не могут «прочитать» его сайт. Часть аудитории уже привыкла задавать вопросы напрямую ChatGPT, Perplexity или Алисе – и получать готовый ответ, не переходя ни на один сайт. Если ваш бренд в этом ответе не упомянут, для этого пользователя вас как будто нет – даже если в обычном Яндексе или Google вы стоите на первом месте.

Что нужно, чтобы попадать в такие ответы:

• Открыть в служебном файле robots.txt доступ нужным программам умных помощников.

• Настроить агрессивные защиты (например, от DDoS), чтобы они не блокировали ботов умных помощников, требуя от них решить капчу или выполнить проверку в браузере, – умные помощники их не решают.

• Сделать содержимое сайта понятно структурированным – с ясной иерархией заголовков, короткими абзацами и списками, а не сплошными «стенами» текста.

• Строить смысловые куски так, чтобы каждый работал сам по себе: короткие определения, прямые ответы на конкретные вопросы, самодостаточные абзацы.

• Добавить на сайт специальную разметку (называется Schema.org) – она подсказывает роботу, где на странице что: где название организации, где статья, где вопрос-ответ, где отзыв.

• Показывать, кто автор материала: имя, должность, ссылка на страницу автора. Умные помощники все чаще предпочитают цитировать источники с реальным именем автора, а не анонимные тексты.

Это работа, которую 2–3 года назад никто не делал, потому что самих умных помощников толком не было. Сегодня для узнаваемых брендов – обязательное направление, если вы не хотите потерять часть аудитории, которая уже не заходит в классический поиск.

Как проверить, что ваш сайт правильно виден поисковым системам: диагностика по семи шагам

Проверка видимости сайта – это не одна операция, а последовательное прохождение семи шагов. Каждый закрывает свой уровень.

1. Проверить, сколько страниц вашего сайта попало в базу поиска. Введите в строку Яндекса и Google запрос вида site:вашсайт.ru – поисковая система покажет все страницы вашего сайта, которые у нее в базе. Сравните это число с реальным количеством страниц у вас на сайте. Значительная разница – сигнал, что часть страниц не проиндексирована.
2. Проверить отчет по индексации в Google Search Console. Это личный кабинет владельца сайта в Google, доступ бесплатный. В отчете «Страницы» видно, сколько страниц Google занес в свою базу, а сколько исключил и почему (техническая ошибка, запрет от индексации, дубль другой страницы, слишком слабая страница). Каждая исключенная страница – упущенный трафик, требующий разбора.
3. Проверить то же самое в Яндекс Вебмастере. Это личный кабинет в Яндексе. В разделе «Индексирование → Страницы в поиске» видно, что попало в базу Яндекса и что исключено, с указанием причин (недостаточно качественная, дубль, малополезная, ошибка сервера).
4. Проверить отдельную страницу. В обоих кабинетах есть инструмент «Проверить URL» (в Google – «Проверить URL», в Яндексе – «Проверить статус URL»). Введите адрес конкретной страницы – система покажет, что видит на ней робот, когда он в последний раз заходил и какие пометки применены.
5. Открыть файл настроек для роботов. По адресу вашсайт.ru/robots.txt – там сайт хранит инструкции для поисковых роботов. Проверьте, что важные разделы сайта не закрыты. Частая проблема: разработчик закрыл сайт целиком на этапе разработки и забыл открыть при переносе на боевой сервер – и об этом узнают только через несколько месяцев, когда сайт «пропал» из поиска.
6. Проверить карту сайта. По адресу вашсайт.ru/sitemap.xml должен быть файл со списком всех страниц, которые вы хотите видеть в поиске. Убедитесь, что файл существует, актуален и передан в оба кабинета – и Google Search Console, и Яндекс Вебмастер. Карта сайта – не гарантия, что все страницы попадут в базу, но повышает шансы, что робот дойдет до всех важных страниц.
7. Посмотреть на сайт «глазами робота». Есть специальные программы (например, Screaming Frog SEO Spider, JetOctopus, NetPeak Spider), которые эмулируют работу поискового робота и показывают, что он видит на вашем сайте: битые ссылки, страницы с ошибками, дубли заголовков и описаний, глубину вложенности страниц, страницы, на которые нет ни одной внутренней ссылки. Первые две программы платные, но у большинства есть демоверсии, которых достаточно для небольшого сайта.

Если после этой проверки все семь пунктов «зеленые», а трафика все равно нет – значит, проблема уже не в видимости, а на других слоях: слабое содержимое, слабые ссылки, плохое поведение людей на сайте, высокая конкуренция. Тогда диагностику стоит переносить на другой уровень.

Почему сайт «не видно» в поиске: типичные причины

В восьми-девяти случаях из десяти «нас нет в Яндексе или Google» стоит одна из типичных причин. Ниже – список того, что стоит проверить в первую очередь, с бизнес-последствием каждой проблемы.

1. Сайт закрыт от поиска в файле robots.txt. Одной строчкой в этом файле можно закрыть весь сайт. Часто эта строка остается с этапа разработки, когда сайт умышленно скрывали от поиска. Итог: сайт не появляется в выдаче вообще, никогда.
2. На важных страницах стоит пометка «не показывать в поиске». Она называется noindex. Иногда ее ставит система управления сайтом (CMS) автоматически – например, WordPress через плагин для SEO. Итог: страница не попадает в базу поиска, даже если открыта для сканирования.
3. Регулярные ошибки сервера при обходе. Если робот часто сталкивается с ошибками (сервер отвечает «внутренняя ошибка» вместо страницы), он снижает частоту заходов и постепенно исключает страницы из базы. Итог: сайт «пропадает» из выдачи через недели или месяцы после появления проблем с хостингом.
4. Дубли содержимого. Одинаковые или почти одинаковые страницы (например, доступные и через «/», и без слеша, с параметрами и без, с www и без) вынуждают поиск выбрать одну «главную» и исключить остальные. Итог: часть страниц не участвует в выдаче.
5. Слабое или неоригинальное содержимое. Страницы с маленьким объемом текста, скопированным с других сайтов или сгенерированные шаблонно, отсеиваются как «малополезные». Итог: они не участвуют в ранжировании.
6. Санкции поисковых систем. У Яндекса это АГС (за сайты низкого качества), Минусинск (за плохие ссылки), Баден-Баден (за переспам ключевыми словами). У Google – ручные санкции сотрудников и алгоритмические понижения. Обычно приходят за некачественные ссылки, накрутки, дубли с других сайтов, спам-содержимое. Итог: сайт резко исчезает из первой десятки по большинству запросов.
7. Неправильно указана «главная» версия страницы. Если у страницы неверно проставлена пометка о канонической (главной) версии или на сайте есть длинные цепочки переадресаций (страница А переадресует на Б, Б – на В, В – на Г), поиск может выбрать в результаты не ту страницу или вообще пропустить ее. Итог: в поиске появляется не та страница или упущенная индексация.
8. Неправильно указан регион. Сайт продвигается по запросам, характерным для Москвы, а в Яндекс Вебмастере привязан к Санкт-Петербургу. Итог: даже если сайт хорошо ранжируется, он показывается не в той географии.
9. Проблемы с мобильной версией. И Яндекс, и Google в первую очередь смотрят на мобильную версию сайта, а не на обычную десктопную. Если мобильная неработоспособна, страдает весь сайт. Итог: снижение позиций даже при хорошей десктопной версии.
10. Защита от ботов случайно блокирует поисковые роботы. Такие сервисы как Cloudflare или другие защитные системы иногда принимают Googlebot или YandexBot за нежелательный трафик и блокируют. Итог: робот не может обойти сайт, страницы исчезают из базы.

Полный аудит по этим и десяткам смежных пунктов – обычная первая задача перед началом любых работ по продвижению. Без корректной технической базы дальнейшая работа с семантикой, содержимым и ссылками не дает результата.

Частые вопросы

Что значит «поисковик видит сайт»? 

Это упрощение. На самом деле поисковая система обрабатывает сайт на трех разных уровнях: сначала специальная программа-робот обходит сайт и скачивает страницы, потом их содержимое разбирается и заносится в базу поиска, потом при запросе пользователя алгоритм выбирает из базы подходящие страницы и выстраивает их в порядке от лучшего к худшему. Ваш сайт может дойти до первого уровня и застрять на нем, попасть в базу и не появляться в первой десятке или показываться по одним запросам и не показываться по похожим.

Как узнать, какие страницы моего сайта попали в базу поиска? 

Три способа. Первый – в строке Яндекса и Google введите site:вашсайт.ru. Второй – зайдите в бесплатный кабинет Google Search Console, отчет «Страницы». Третий – зайдите в бесплатный кабинет Яндекс Вебмастер, раздел «Индексирование → Страницы в поиске». Все три источника лучше сравнивать друг с другом: Google и Яндекс могут держать в базе разные подмножества ваших страниц.

Как работает индексация сайта простыми словами? 

Специальная программа-робот заходит по адресу вашей страницы, скачивает ее, читает содержимое и заносит в огромную базу поисковой системы. Только после этого страница может появиться в результатах поиска. Если страница не попала в базу – в поиске ее нет, даже если у вас на сайте она есть и работает.

Как ускорить попадание новой страницы в поиск? 

Добавить адрес страницы в карту сайта (файл sitemap.xml), отправить страницу на переобход в бесплатных кабинетах для владельцев сайтов – в Google Search Console и в Яндекс Вебмастере, поставить ссылку на новую страницу с уже проиндексированных разделов вашего сайта, попросить кого-то поставить ссылку на нее с внешнего сайта. Обычно новая страница попадает в базу Google за часы-сутки, в Яндекс – за несколько дней до недели.

В чем главное отличие Яндекса и Google для сайта? 

Три ключевых различия. Первое: Яндекс хуже работает с сайтами, у которых содержимое собирается программным кодом в браузере, – часть контента может не попасть в базу. Google это делает лучше. Второе: Яндекс сильнее реагирует на регион – один и тот же запрос показывает разные результаты в разных городах. Google – заметно меньше. Третье: у Яндекса и Google свои личные кабинеты для владельцев сайтов, свои системы санкций и свои алгоритмы. Настраивать сайт нужно под обе системы отдельно.

Как ChatGPT и Perplexity «видят» мой сайт? 

Через свои специальные программы (у ChatGPT – GPTBot и ChatGPT-User, у Perplexity – PerplexityBot, у Google для их помощника Gemini – Google-Extended). В отличие от обычного поиска, они не выстраивают ваш сайт в первую десятку – они забирают куски вашего текста и вставляют их в ответ пользователю. Чтобы бренд появлялся в ответах умных помощников, нужно открыть их программам доступ в файле robots.txt, настроить защиту сайта так, чтобы она не требовала от ботов капчу, и построить содержимое так, чтобы каждый смысловой блок был самодостаточным и понятным без всей статьи.

Почему сайт не отображается в поиске, хотя технически работает? 

За этим обычно стоит одна из десятка типовых причин: сайт закрыт в файле настроек для роботов, на важных страницах стоит пометка «не показывать в поиске», ошибки сервера при обходе, дубли содержимого, слабое или неоригинальное содержимое, санкции, неправильно указанная «главная» версия страницы, неправильно указан регион, проблемы с мобильной версией, защита сайта случайно блокирует поисковых роботов. Диагностика начинается с двух бесплатных кабинетов – Google Search Console и Яндекс Вебмастера – оба показывают, что именно видят поисковые системы и почему исключили страницы.

По каким признакам поиск оценивает ваш сайт?

По совокупности признаков в семи группах: технические (скорость, мобильная версия, ошибки), содержимое (полнота, полезность, свежесть), ссылки со сторонних сайтов, поведение людей на сайте, коммерческие признаки (для магазинов и услуг – цены, ассортимент, отзывы, доверие), региональные (соответствие географии), и сигналы опыта, экспертизы, авторитетности и доверия. Точные веса поисковики не раскрывают, но группы известны и подтверждаются их официальной документацией.

Главные выводы

Поисковая система «видит» сайт не как визуальный интерфейс, а как последовательность из трех этапов: сначала робот обходит сайт и скачивает страницы, потом содержимое заносится в базу, потом алгоритм при запросе пользователя выстраивает подходящие страницы в порядке от лучшего к худшему. На каждом этапе сайт может «потеряться», и диагностика проблемы всегда начинается с определения того, на каком именно этапе произошел сбой.

Робот видит только текст, ссылки и служебную разметку страницы – а не то, что видит человек. Все, что появляется на сайте после клика, всплывающие окна, содержимое, собранное в браузере программным кодом, – робот либо не видит, либо видит с большой задержкой. Это ключевая причина, по которой красивые сайты на современных технологиях без специальной подготовки теряют трафик.

Яндекс и Google – две разные системы, которые нужно настраивать отдельно. Работа с содержимым в браузере, скорость попадания страниц в базу, роль поведения людей на сайте, важность региона – по каждому пункту у них свои особенности.

В 2025 году к обычным поисковикам добавились умные помощники: ChatGPT, Perplexity, Алиса, Gemini. Их программы ходят по вашему сайту отдельно от Яндекса и Google, и если вы им не открыли доступ, ваш бренд не попадет в ответы, которые они дают людям – даже при отличных позициях в классической выдаче.

Проверка видимости сайта в поиске – это семь простых шагов, которые может пройти любой владелец сайта за один вечер: запрос вида site:вашсайт.ru в Яндексе и Google, два отчета в бесплатных кабинетах Search Console и Яндекс Вебмастер, ручная проверка отдельного URL, файл robots.txt, файл sitemap.xml и одна из специальных программ, которая эмулирует работу поискового робота. Если после этой проверки все семь пунктов «зеленые», а трафика все равно нет – проблема уже не в видимости, а на другом уровне.