Як працюють пошукові системи? Сканування, індексація, ранжування та відповіді AI

Розуміння того, як працюють пошукові системи, є основою кожного рішення в SEO: сторінка, яку не просканували, не може потрапити в індекс, а сторінка поза індексом не може ні ранжуватися, ні бути процитованою AI-асистентом. Google пояснює цей процес у своєму докладному посібнику з того, як працює Google Search. Ця стаття проходить ті самі етапи, додає те, що Bing робить інакше, і показує, що змінюється, коли замість списку синіх посилань відповідає ChatGPT, Gemini чи Perplexity.

Що таке пошукова система?

Пошукова система це програмне забезпечення, що знаходить вебсторінки, які відповідають запиту. Вона має дві частини: індекс, базу даних уже знайдених і проаналізованих сторінок, та системи ранжування, які вирішують, які проіндексовані сторінки найкраще відповідають на запит і в якому порядку. Пошукова система ніколи не шукає в живому вебі, коли ви вводите запит: вона шукає у власній збереженій копії. Тому сторінка, опублікована сьогодні вранці, може лишатися невидимою днями.

Масштаб пояснює більшість проєктних рішень. За даними Google, його індекс Пошуку охоплює сотні мільярдів вебсторінок і має розмір значно понад 100000000 гігабайтів (Google, How Search Works). Жодна система не може щодня пересканувати все, тому кожна визначає пріоритети: що завантажувати, що зберігати і що показувати. Google домінує в більшості країн, але Bing, Yandex, Baidu, Naver і пошукові системи, орієнтовані на приватність, дотримуються тієї самої логіки, як показує наш перелік альтернативних пошукових систем Google.

Як працюють пошукові системи крок за кроком?

Три класичні етапи легше застосовувати на практиці, якщо поділити їх на п'ять кроків, кожен зі своїми важелями впливу.

Крок 1: сканування, пошук сторінок

Сканування це етап виявлення. Автоматизовані програми, які називають краулерами (Googlebot для Google, Bingbot для Bing), починають із URL, які вже знають, і переходять за посиланнями, щоб знайти нові. Вони також читають XML-карти сайту, які подають власники сайтів. Google зазначає, що Googlebot використовує алгоритм, щоб визначити, які сайти сканувати, як часто і скільки сторінок брати з кожного, і що він намагається не сканувати сайт так швидко, щоб перевантажити сервер.

Сканування блокують три речі: правило disallow у файлі robots.txt, сторінки за входом в акаунт і помилки сервера чи тайм-аути. Важелі впливу це чітка структура внутрішніх посилань без сторінок-сиріт, актуальна XML-карта сайту і швидкий стабільний сервер. Великі сайти також керують своїм краул-бюджетом: кількістю URL, які краулер готовий завантажити з сайту за певний період.

Крок 2: рендеринг, бачити сторінку як браузер

Багато сторінок будують свій контент за допомогою JavaScript. Google рендерить сторінки за допомогою свіжої версії Chrome, тому може виконувати скрипти й бачити те, що бачить відвідувач. Рендеринг коштує ресурсів і може затримуватися, а контент, що з'являється лише після кліку або залежить від скрипта, який не спрацьовує, може так і не бути побачений. Багато інших краулерів, зокрема кілька AI-краулерів, JavaScript не виконують узагалі: ключовий контент має бути у вихідному HTML.

Крок 3: індексація, розуміння і зберігання

Індексація це етап аналізу. Система читає текст, заголовок, підзаголовки, зображення, відео та структуровані дані, потім групує сторінки зі схожим вмістом і обирає один репрезентативний URL, канонічний, тобто версію, яка може з'являтися в результатах. Вона зберігає сигнали про цю сторінку: мову, цільову країну, свіжість, зручність використання. Google порівнює свій індекс із предметним покажчиком у кінці книги, де є запис для кожного слова, побаченого на кожній проіндексованій сторінці.

Індексація ніколи не гарантована. Google зазначає, що не кожна оброблена ним сторінка буде проіндексована: тонкий або дубльований контент, директива noindex чи конструкція, що ускладнює аналіз, можуть залишити сторінку поза індексом. Наш посібник про індексацію сторінок у Google описує способи виправлення, а безкоштовний перевіряльник індексованості за кілька секунд скаже, чи можна проіндексувати URL.

Крок 4: ранжування, вибір найкращих відповідей

Коли надходить запит, система спершу інтерпретує його: правопис, синоніми, мову, місцезнаходження та намір за словами (дізнатися, порівняти, купити, потрапити на конкретний сайт). Потім вона вибирає з індексу сторінки-кандидати й упорядковує їх за допомогою багатьох спільно працюючих систем ранжування. Google групує основні чинники за змістом запиту, релевантністю контенту, його якістю, зручністю сторінки та контекстом пошуку, як-от місцезнаходження й налаштування. Посилання з інших сайтів лишаються сигналом авторитетності. Повну картину дивіться в нашому аналізі чинників ранжування Google.

Два моменти часто розуміють хибно. По-перше, Google заявляє, що не приймає плату за частіше сканування сайту чи вище ранжування: реклама продається окремо та має відповідну позначку. По-друге, місцезнаходження й мова змінюють результати значно сильніше, ніж особиста історія перегляду.

Крок 5: видача, формування сторінки результатів

Останній крок збирає сторінку результатів. Десять синіх посилань перетворилися на суміш реклами, локальних результатів, зображень, відео, блоків «Люди також запитують», виділених фрагментів і, для багатьох інформаційних запитів, AI Overview. Показані заголовок і опис беруться з вашого тега title, мета-опису та вмісту сторінки, а структуровані дані можуть зробити сторінку придатною для розширених результатів. Кожен формат це окремий шанс бути поміченим.

Чим Bing відрізняється від Google?

Bing дотримується тієї самої моделі сканування, індексації й ранжування, з кількома практичними відмінностями. Головна з них: IndexNow, протокол, який дає сайту змогу повідомляти пошукові системи про додавання, оновлення чи видалення URL одразу, не чекаючи наступного сканування. За даними IndexNow.org, протокол підтримують Microsoft Bing, Naver, Seznam.cz, Yandex і Yep; Google його не запровадив. Результати Bing також живлять Microsoft Copilot. Частка ринку Bing невелика в більшості країн, але налаштування Bing Webmaster Tools забирає кілька хвилин і відкриває друге джерело трафіку та даних.

Як AI-асистенти, як-от ChatGPT і AI Overviews, знаходять контент?

Відповіді AI надбудовуються над пошуковими системами, а не замінюють їх. Більшість спираються на генерацію з доповненням пошуком (RAG): система виконує один чи кілька пошуків, отримує найрелевантніші уривки з вебіндексу, а потім мовна модель пише відповідь, що цитує деякі з цих джерел.

• Google AI Overviews та AI Mode використовують власний індекс Google. Сторінка Google про функції AI та ваш вебсайт зазначає, що сторінка має бути лише проіндексована й придатна для показу сніпета, без особливої розмітки чи текстового файлу для AI. Ці функції використовують «розгалуження запиту» (query fan-out): вони надсилають кілька пов'язаних пошуків за підтемами, щоб зібрати сторінки, які підтверджують відповідь.
• Пошук ChatGPT отримує сторінки за допомогою краулера OpenAI OAI-SearchBot. За документацією краулерів OpenAI, сайти, які блокують OAI-SearchBot, виключаються з відповідей пошуку ChatGPT, тоді як GPTBot це окремий краулер для навчання моделей.
• Gemini, Perplexity і Claude також поєднують вебпошук із генерацією: Gemini спирається на Google Search, а Perplexity і Claude надсилають власних краулерів (PerplexityBot, Claude-SearchBot), щоб індексувати сторінки, які вони можуть цитувати.

Наслідок: класичні етапи й надалі визначають видимість в AI. Сторінка, заблокована для сканування, відсутня в індексі або похована глибоко в ранжуванні, має мало шансів бути отриманою, а отже й процитованою. Змінюється остаточний вибір: AI обирає уривки, а не цілі сторінки, і віддає перевагу чітким визначенням, цифрам із джерелами та прямим відповідям. Наше дослідження джерел, які цитує ChatGPT, показує, які типи сторінок отримують ці цитування.

Що можна контролювати на кожному етапі?

Розташуйте етапи по порядку, і вийде чек-лист, який працює однаково для Google, Bing та AI-асистентів:

1. Пускайте потрібних ботів. Перевірте robots.txt на випадкові правила disallow і свідомо вирішіть, яких AI-краулерів ви дозволяєте.
2. Зробіть кожну важливу сторінку досяжною не далі ніж за три кліки через внутрішні посилання та внесіть її до карти сайту.
3. Віддавайте контент у HTML, а не лише через JavaScript, зі швидкими й стабільними відповідями сервера.
4. Дайте кожній темі один канонічний URL і уникайте майже однакових сторінок, що розпорошують сигнали.
5. Відповідайте пошуковому наміру. Виходьте із запитань, які вводять люди, їх виявляє дослідження ключових слів, і відповідайте на них у перших рядках сторінки.
6. Здобувайте авторитетність через посилання та згадки з релевантних сайтів.
7. Пишіть уривки, які можна цитувати: визначення, цифру з джерелом, короткий список кроків.
8. Вимірюйте обидва канали: Search Console для Google та відстеження згадок у ШІ, щоб побачити, чи цитують ваш бренд ChatGPT, Gemini або Perplexity.

Як пошукові системи змінювалися з часом?

Ранні пошукові системи 1990-х ранжували сторінки здебільшого за збігом ключових слів, чим було легко маніпулювати. PageRank від Google, що розглядав посилання як голоси, значно ускладнив обман ранжування, а наступні десятиліття додали розуміння мови через моделі машинного навчання, як-от BERT, mobile-first індексацію, виявлення спаму та системи оцінки якості. Історія Google показує сталу закономірність: кожна велика зміна винагороджувала сторінки, написані для людей, і карала короткі шляхи. Генеративні відповіді це останній крок, і вони винагороджують те саме: чіткий, надійний, добре структурований контент.

Від сканування до трафіку: з чого почати

Пошукові системи винагороджують сторінки, які вони можуть просканувати, зрозуміти й яким можуть довіряти, а AI-асистенти цитують сторінки, які пошукові системи вже ранжують. Спершу виправте доступ, потім індексацію, потім релевантність і авторитетність. Щоб це працювало тиждень за тижнем, Sorank знаходить ваші ключові слова, публікує оптимізовані статті з джерелами та внутрішніми посиланнями і відстежує, чи цитують ваш бренд ChatGPT, Gemini і Perplexity, на autopilot.