Come funzionano i motori di ricerca? Scansione, indicizzazione, ranking e risposte delle IA

Capire come funzionano i motori di ricerca è la base di ogni decisione SEO: una pagina non scansionata non può essere indicizzata, e una pagina non indicizzata non può né posizionarsi né essere citata da un assistente IA. Google descrive il processo nella sua guida approfondita al funzionamento della Ricerca Google. Questo articolo segue le stesse fasi, aggiunge ciò che Bing fa in modo diverso e mostra cosa cambia quando a rispondere sono ChatGPT, Gemini o Perplexity invece di un elenco di link blu.

Che cos'è un motore di ricerca?

Un motore di ricerca è un software che trova le pagine web corrispondenti a una query. È composto da due parti: un indice, cioè un database di pagine già scoperte e analizzate, e dei sistemi di ranking, che decidono quali pagine indicizzate rispondono meglio alla query e in quale ordine. Quando digitate una query, il motore non esplora il web in diretta: cerca nella propria copia archiviata. Per questo una pagina pubblicata stamattina può restare invisibile per giorni.

La scala spiega la maggior parte delle scelte tecniche. Secondo Google, il suo indice di ricerca copre centinaia di miliardi di pagine web e supera di gran lunga i 100.000.000 di gigabyte (Google, How Search Works). Nessun motore può riscansionare tutto ogni giorno, quindi ognuno stabilisce cosa scaricare, cosa conservare e cosa mostrare. Google domina nella maggior parte dei paesi, ma Bing, Yandex, Baidu, Naver e i motori orientati alla privacy seguono la stessa logica, come mostra la nostra lista di motori di ricerca alternativi a Google.

Come funzionano i motori di ricerca, passo dopo passo?

Le tre fasi classiche diventano più facili da gestire se le si divide in cinque passaggi, ognuno con le proprie leve.

Passaggio 1: la scansione, scoprire le pagine

La scansione (crawling) è la fase di scoperta. Programmi automatici chiamati crawler (Googlebot per Google, Bingbot per Bing) partono da URL già noti e seguono i link per trovarne di nuovi. Leggono anche le sitemap XML inviate dai proprietari dei siti. Google spiega che Googlebot usa un algoritmo per decidere quali siti scansionare, con quale frequenza e quante pagine recuperare da ciascuno, e che evita di scansionare un sito così velocemente da sovraccaricare il server.

Tre cose bloccano la scansione: una regola disallow nel file robots.txt, pagine protette da login ed errori o timeout del server. Le leve sono una struttura di link interni pulita senza pagine orfane, una sitemap XML aggiornata e un server veloce e stabile. I siti grandi gestiscono anche il loro crawl budget: il numero di URL che un crawler è disposto a recuperare sul sito in un determinato periodo.

Passaggio 2: il rendering, vedere la pagina come un browser

Molte pagine costruiscono il contenuto con JavaScript. Google esegue il rendering con una versione recente di Chrome, quindi può eseguire gli script e vedere ciò che vede un visitatore. Il rendering consuma risorse e può essere rinviato, e un contenuto che appare solo dopo un clic, o che dipende da uno script in errore, rischia di non essere mai visto. Molti altri crawler, tra cui diversi crawler delle IA, non eseguono affatto JavaScript: il contenuto chiave deve stare nell'HTML iniziale.

Passaggio 3: l'indicizzazione, capire e archiviare

L'indicizzazione è la fase di analisi. Il motore legge testo, titolo, intestazioni, immagini, video e dati strutturati, raggruppa le pagine con contenuti simili e sceglie un URL rappresentativo, il canonico, che è la versione idonea a comparire nei risultati. Memorizza segnali su quella pagina: lingua, paese di destinazione, freschezza, usabilità. Google paragona il suo indice all'indice analitico in fondo a un libro, con una voce per ogni parola vista su ogni pagina indicizzata.

L'indicizzazione non è mai garantita. Google precisa che non tutte le pagine elaborate vengono indicizzate: contenuti scarni o duplicati, una direttiva noindex o un design che rende difficile l'analisi possono escludere una pagina. La nostra guida per far indicizzare le pagine su Google illustra le soluzioni, e un verificatore di indicizzabilità gratuito vi dice in pochi secondi se un URL può essere indicizzato.

Passaggio 4: il ranking, scegliere le risposte migliori

Quando arriva una query, il motore la interpreta: ortografia, sinonimi, lingua, posizione e l'intento dietro le parole (informarsi, confrontare, acquistare, raggiungere un sito preciso). Poi recupera dall'indice le pagine candidate e le ordina con molti sistemi di ranking che lavorano insieme. Google raggruppa i fattori principali in significato della query, pertinenza del contenuto, qualità, usabilità della pagina e contesto della ricerca, come posizione e impostazioni. I link provenienti da altri siti restano un segnale di autorevolezza. Il quadro completo è nella nostra analisi dei fattori di ranking di Google.

Due punti vengono spesso fraintesi. Primo, Google dichiara di non accettare pagamenti per scansionare un sito più spesso o posizionarlo più in alto: gli annunci sono venduti separatamente e contrassegnati come tali. Secondo, posizione e lingua modificano i risultati molto più della cronologia di navigazione personale.

Passaggio 5: i risultati, costruire la pagina dei risultati

L'ultimo passaggio assembla la pagina dei risultati. I dieci link blu sono diventati un mix di annunci, risultati locali, immagini, video, riquadri «Le persone hanno chiesto anche», featured snippet e, per molte query informative, una AI Overview. Titolo e descrizione mostrati provengono dal tag title, dalla meta description e dal contenuto della pagina, e i dati strutturati possono rendere una pagina idonea ai risultati avanzati. Ogni formato è un'occasione in più per essere visti.

In cosa Bing è diverso da Google?

Bing segue lo stesso modello di scansione, indicizzazione e ranking, con alcune differenze pratiche. La principale è IndexNow, un protocollo che permette a un sito di avvisare i motori non appena un URL viene aggiunto, modificato o eliminato, senza attendere la scansione successiva. Secondo IndexNow.org, il protocollo è supportato da Microsoft Bing, Naver, Seznam.cz, Yandex e Yep; Google non l'ha adottato. I risultati di Bing alimentano anche Microsoft Copilot. La quota di mercato di Bing è ridotta nella maggior parte dei paesi, ma configurare Bing Webmaster Tools richiede pochi minuti e apre una seconda fonte di traffico e di dati.

Come trovano i contenuti gli assistenti IA come ChatGPT e le AI Overview?

Le risposte delle IA si appoggiano ai motori di ricerca invece di sostituirli. La maggior parte usa la generazione aumentata dal recupero (RAG): il sistema esegue una o più ricerche, recupera i passaggi più pertinenti da un indice web e un modello linguistico scrive una risposta che cita alcune di quelle fonti.

• Le AI Overview e la Modalità IA di Google usano l'indice di Google. La pagina di Google sulle funzionalità IA e il vostro sito indica che una pagina deve solo essere indicizzata e idonea a comparire con uno snippet, senza markup speciale né file di testo dedicati alle IA. Queste funzionalità usano il «query fan-out»: lanciano più ricerche correlate su sottotemi per raccogliere pagine di supporto.
• ChatGPT search recupera le pagine con il crawler di OpenAI, OAI-SearchBot. Secondo la documentazione di OpenAI sui suoi crawler, i siti che bloccano OAI-SearchBot sono esclusi dalle risposte di ChatGPT search, mentre GPTBot è un crawler distinto usato per l'addestramento dei modelli.
• Gemini, Perplexity e Claude combinano anch'essi ricerca web e generazione: Gemini si basa sulla Ricerca Google, Perplexity e Claude inviano i propri crawler (PerplexityBot, Claude-SearchBot) per indicizzare le pagine che possono citare.

La conseguenza: le fasi classiche decidono ancora la visibilità nelle IA. Una pagina bloccata alla scansione, assente dall'indice o relegata in fondo al ranking ha poche possibilità di essere recuperata, e quindi citata. Cambia la scelta finale: l'IA seleziona passaggi, non pagine intere, e privilegia definizioni chiare, dati con fonte e risposte dirette. Il nostro studio sulle fonti citate da ChatGPT mostra quali tipi di pagine ottengono queste citazioni.

Cosa potete controllare in ogni fase?

Mettete in fila le fasi e otterrete una checklist valida per Google, Bing e gli assistenti IA:

1. Fate entrare i bot giusti. Controllate il robots.txt per escludere regole disallow accidentali e decidete in modo consapevole quali crawler delle IA autorizzare.
2. Rendete raggiungibile ogni pagina importante in massimo tre clic tramite i link interni, e inseritela nella sitemap.
3. Servite il contenuto nell'HTML, non solo tramite JavaScript, con risposte del server rapide e stabili.
4. Date a ogni argomento un solo URL canonico ed evitate pagine quasi identiche che disperdono i segnali.
5. Rispondete all'intento di ricerca. Partite dalle domande che le persone digitano, rivelate dalla ricerca delle parole chiave, e rispondete nelle prime righe della pagina.
6. Guadagnate autorevolezza con link e menzioni da siti pertinenti.
7. Scrivete passaggi citabili: una definizione, un dato con la sua fonte, un breve elenco di passaggi.
8. Misurate entrambi i canali: Search Console per Google e il monitoraggio delle menzioni nelle IA per sapere se ChatGPT, Gemini o Perplexity citano il vostro brand.

Come si sono evoluti i motori di ricerca?

I primi motori degli anni Novanta ordinavano le pagine soprattutto in base alla corrispondenza delle parole chiave, facile da manipolare. Il PageRank di Google, che considerava i link come voti, ha reso molto più difficile aggirare il sistema, e i decenni successivi hanno aggiunto la comprensione del linguaggio con modelli di machine learning come BERT, l'indicizzazione mobile-first, la lotta allo spam e i sistemi di qualità. La storia di Google mostra una costante: ogni grande cambiamento ha premiato le pagine scritte per le persone e penalizzato le scorciatoie. Le risposte generative sono l'ultimo passo e premiano la stessa cosa: contenuti chiari, affidabili e ben strutturati.

Dalla scansione al traffico: da dove iniziare

I motori di ricerca premiano le pagine che possono scansionare, capire e ritenere affidabili, e gli assistenti IA citano le pagine che i motori già posizionano. Sistemate prima l'accesso, poi l'indicizzazione, poi pertinenza e autorevolezza. Per mantenere questo lavoro settimana dopo settimana, Sorank trova le vostre parole chiave, pubblica articoli ottimizzati con fonti e link interni e verifica se ChatGPT, Gemini e Perplexity citano il vostro brand, in autopilot.