Как работают поисковые системы? Сканирование, индексирование, ранжирование и ответы ИИ

Понимание того, как работают поисковые системы, лежит в основе каждого SEO-решения: страница, которую не просканировали, не может быть проиндексирована, а непроиндексированная страница не может ни ранжироваться, ни цитироваться ИИ-ассистентом. Google объясняет этот процесс в своем подробном руководстве о том, как работает Google Поиск. Эта статья следует тем же этапам, добавляет то, чем отличается Bing, и показывает, что меняется, когда вместо списка синих ссылок отвечают ChatGPT, Gemini или Perplexity.

Что такое поисковая система?

Поисковая система это программа, которая находит веб-страницы, соответствующие запросу. У нее две части: индекс, база данных уже найденных и проанализированных страниц, и системы ранжирования, которые решают, какие проиндексированные страницы лучше всего отвечают на запрос и в каком порядке. Поисковая система никогда не ищет по живому вебу, когда вы вводите запрос: она ищет по собственной сохраненной копии. Поэтому страница, опубликованная сегодня утром, может оставаться невидимой несколько дней.

Масштаб объясняет большинство проектных решений. По данным Google, его поисковый индекс охватывает сотни миллиардов веб-страниц и занимает значительно больше 100000000 гигабайт (Google, How Search Works). Ни одна система не может пересканировать все каждый день, поэтому каждая расставляет приоритеты: что скачивать, что хранить и что показывать. Google доминирует в большинстве стран, но Bing, Yandex, Baidu, Naver и поисковики, ориентированные на приватность, следуют той же логике, как показывает наш список альтернативных поисковых систем Google.

Как работают поисковые системы шаг за шагом?

Три классических этапа проще применять на практике, если разбить их на пять шагов, у каждого из которых свои рычаги.

Шаг 1: сканирование, поиск страниц

Сканирование это этап обнаружения. Автоматические программы, называемые краулерами (Googlebot у Google, Bingbot у Bing), начинают с известных им URL и переходят по ссылкам, находя новые. Они также читают XML sitemap, которые отправляют владельцы сайтов. Google сообщает, что Googlebot с помощью алгоритма решает, какие сайты сканировать, как часто и сколько страниц брать с каждого, и старается не сканировать сайт так быстро, чтобы перегрузить сервер.

Сканированию мешают три вещи: правило disallow в файле robots.txt, страницы за авторизацией и ошибки сервера или тайм-ауты. Рычаги: аккуратная структура внутренних ссылок без страниц-сирот, актуальный XML sitemap и быстрый стабильный сервер. Крупные сайты также управляют своим краулинговым бюджетом: числом URL, которое краулер готов скачать с сайта за определенный период.

Шаг 2: рендеринг, взгляд на страницу как в браузере

Многие страницы строят контент с помощью JavaScript. Google рендерит страницы современной версией Chrome, поэтому может выполнять скрипты и видеть то, что видит посетитель. Рендеринг требует ресурсов и может откладываться, а контент, который появляется только после клика или зависит от сбойного скрипта, может так и не быть замечен. Многие другие краулеры, в том числе несколько ИИ-краулеров, JavaScript не выполняют вообще: ключевой контент должен быть в исходном HTML.

Шаг 3: индексирование, понимание и хранение

Индексирование это этап анализа. Система читает текст, заголовок, подзаголовки, изображения, видео и структурированные данные, затем группирует страницы со схожим содержимым и выбирает один представительный URL, канонический, то есть версию, которая может появиться в результатах. Она сохраняет сигналы об этой странице: язык, целевую страну, свежесть, удобство использования. Google сравнивает свой индекс с предметным указателем в конце книги, где есть запись для каждого слова на каждой проиндексированной странице.

Индексирование никогда не гарантировано. Google сообщает, что проиндексирована будет не каждая обработанная страница: тонкий или дублирующийся контент, директива noindex или дизайн, затрудняющий анализ, могут не пустить страницу в индекс. Наше руководство по индексированию страниц в Google описывает способы исправления, а бесплатная проверка индексируемости за секунды покажет, можно ли проиндексировать URL.

Шаг 4: ранжирование, выбор лучших ответов

Когда приходит запрос, система сначала его интерпретирует: написание, синонимы, язык, местоположение и интент за словами (узнать, сравнить, купить, попасть на конкретный сайт). Затем она извлекает из индекса страницы-кандидаты и упорядочивает их с помощью множества совместно работающих систем ранжирования. Google группирует основные факторы в смысл запроса, релевантность контента, его качество, удобство страницы и контекст поиска, такой как местоположение и настройки. Ссылки с других сайтов остаются сигналом авторитетности. Полная картина дана в нашем разборе факторов ранжирования Google.

Два момента часто понимают неверно. Во-первых, Google заявляет, что не принимает оплату за более частое сканирование сайта или за его более высокое ранжирование: реклама продается отдельно и помечается как таковая. Во-вторых, местоположение и язык меняют результаты гораздо сильнее, чем личная история просмотров.

Шаг 5: показ, формирование страницы результатов

Последний шаг собирает страницу результатов. Десять синих ссылок превратились в смесь рекламы, локальных результатов, изображений, видео, блоков «Похожие запросы», избранных сниппетов и, для многих информационных запросов, AI Overview. Показываемые заголовок и описание берутся из вашего тега title, мета-описания и содержимого страницы, а структурированные данные могут сделать страницу пригодной для расширенных результатов. Каждый формат это отдельный шанс быть увиденным.

Чем Bing отличается от Google?

Bing следует той же модели сканирования, индексирования и ранжирования, с несколькими практическими отличиями. Главное из них это IndexNow, протокол, позволяющий сайту уведомлять системы, как только URL добавлен, обновлен или удален, вместо ожидания следующего сканирования. По данным IndexNow.org, протокол поддерживают Microsoft Bing, Naver, Seznam.cz, Yandex и Yep; Google его не принял. Результаты Bing также питают Microsoft Copilot. Доля Bing в большинстве стран невелика, но настройка Bing Webmaster Tools занимает несколько минут и открывает второй источник трафика и данных.

Как ИИ-ассистенты, такие как ChatGPT и AI Overviews, находят контент?

Ответы ИИ строятся поверх поисковых систем, а не заменяют их. Большинство опирается на генерацию с дополнением извлеченными данными (RAG): система выполняет один или несколько поисков, извлекает наиболее релевантные отрывки из веб-индекса, а затем языковая модель пишет ответ, цитирующий некоторые из этих источников.

• Google AI Overviews и AI Mode используют собственный индекс Google. На странице Google об ИИ-функциях и вашем сайте сказано, что странице достаточно быть проиндексированной и подходить для показа сниппета, специальная разметка или текстовый файл для ИИ не нужны. Эти функции используют «query fan-out»: они запускают несколько связанных поисков по подтемам, чтобы собрать подтверждающие страницы.
• Поиск ChatGPT извлекает страницы с помощью краулера OpenAI OAI-SearchBot. Согласно документации OpenAI по краулерам, сайты, блокирующие OAI-SearchBot, исключаются из ответов поиска ChatGPT, а GPTBot это отдельный краулер, используемый для обучения моделей.
• Gemini, Perplexity и Claude тоже сочетают веб-поиск с генерацией: Gemini опирается на Google Поиск, а Perplexity и Claude отправляют собственных краулеров (PerplexityBot, Claude-SearchBot), чтобы индексировать страницы, которые они могут цитировать.

Вывод: классические этапы по-прежнему определяют видимость в ИИ. У страницы, закрытой от сканирования, отсутствующей в индексе или зарытой глубоко в выдаче, мало шансов быть извлеченной, а значит, и процитированной. Меняется финальный выбор: ИИ выбирает отрывки, а не целые страницы, и отдает предпочтение четким определениям, числам с источниками и прямым ответам. Наше исследование источников, которые цитирует ChatGPT, показывает, какие типы страниц выигрывают эти цитирования.

Что можно контролировать на каждом этапе?

Расставьте этапы по порядку, и получится чек-лист, одинаково работающий для Google, Bing и ИИ-ассистентов:

1. Пускайте нужных ботов. Проверьте robots.txt на случайные правила disallow и осознанно решите, каких ИИ-краулеров вы разрешаете.
2. Сделайте каждую важную страницу доступной не дальше трех кликов через внутренние ссылки и укажите ее в sitemap.
3. Отдавайте контент в HTML, а не только через JavaScript, с быстрыми и стабильными ответами сервера.
4. Дайте каждой теме один канонический URL и избегайте почти одинаковых страниц, которые делят сигналы.
5. Совпадайте с поисковым интентом. Начинайте с вопросов, которые вводят люди и которые выявляет подбор ключевых слов, и отвечайте на них в первых строках страницы.
6. Зарабатывайте авторитет ссылками и упоминаниями с релевантных сайтов.
7. Пишите отрывки, которые можно цитировать: определение, число с источником, короткий список шагов.
8. Измеряйте оба канала: Search Console для Google и отслеживание упоминаний в ИИ, чтобы видеть, цитируют ли ChatGPT, Gemini или Perplexity ваш бренд.

Как менялись поисковые системы со временем?

Ранние системы 1990-х ранжировали страницы в основном по совпадению ключевых слов, чем было легко манипулировать. PageRank от Google, который считал ссылки голосами, сильно затруднил обман ранжирования, а следующие десятилетия добавили понимание языка с помощью моделей машинного обучения вроде BERT, индексирование в первую очередь мобильной версии, обнаружение спама и системы оценки качества. История Google показывает устойчивую закономерность: каждое крупное изменение вознаграждало страницы, написанные для людей, и наказывало уловки. Генеративные ответы стали последним шагом, и вознаграждают они то же самое: ясный, надежный, хорошо структурированный контент.

От сканирования к трафику: с чего начать

Поисковые системы вознаграждают страницы, которые они могут просканировать, понять и которым могут доверять, а ИИ-ассистенты цитируют страницы, которые поисковые системы уже ранжируют. Сначала исправьте доступ, затем индексирование, затем релевантность и авторитет. Чтобы эта работа шла неделя за неделей, Sorank находит ваши ключевые слова, публикует оптимизированные статьи с источниками и внутренними ссылками и отслеживает, цитируют ли ChatGPT, Gemini и Perplexity ваш бренд, на autopilot.