Crawling e indicizzazione sono i due passaggi con cui Google raccoglie e cataloga i contenuti del web.
Il crawling è la fase di scoperta: il software di Google (chiamato "Googlebot" o "spider") naviga il web seguendo link da una pagina all'altra, raccogliendo il contenuto di ogni pagina che trova. È come un robot che legge ogni pagina del tuo sito.
L'indicizzazione è la fase di archiviazione: dopo aver letto una pagina, Google la analizza, la interpreta e la inserisce nel suo enorme database (l'indice). Solo le pagine nell'indice possono comparire nei risultati di ricerca.
Se una pagina non è indicizzata, non esiste per Google, qualunque sia la qualità del suo contenuto.
Per capire quali pagine del tuo sito sono indicizzate, usa Google Search Console: vai su "Copertura" o usa il comando "site:tuosito.it" nella ricerca di Google.
I motivi più comuni per cui una pagina non viene indicizzata:
- Non è raggiungibile da nessun link (pagina "orfana")
- Ha il tag "noindex" nel codice
- Il file "robots.txt" blocca l'accesso a Googlebot
- La pagina è troppo lenta o ha errori tecnici
Per un nuovo sito, l'indicizzazione può richiedere da qualche giorno a qualche settimana.