Come i crawler AI leggono l’HTML
I crawler AI citano l’HTML che recuperano. Se la risposta nasce nel browser, arriva in ritardo o manca nei sistemi più inclini a citarLa.
Un recupero non equivale a un rendering
La prima risposta è un file. Un browser può poi scaricare gli script e costruire una pagina che il server non ha inviato. I motori di ricerca a volte fanno questo secondo passaggio. I motori di risposta spesso si fermano al file.
Faccia conto sul file. Se la frase non è nel file, non si aspetti una citazione.
Che cosa i bot tengono
Tengono le parti che l’HTML già nomina.
- Il title, la meta description e il link canonico
- Titoli in ordine, paragrafi ed elenchi
- Tabelle con celle di intestazione, citazioni e didascalie delle figure
- Gli href dei link e il testo alt delle immagini
- Il JSON-LD, quando ripete un fatto che la pagina mostra anch’essa
Che cosa i bot perdono
Perdono le parole assenti da quel file e diffidano delle parole che ha nascosto.
- Testo inserito all’idratazione di un componente
- Navigazione che esiste soltanto come gestore onclick
- Fatti dentro un widget che parte chiuso, se interessano i parser più severi
- Testo che il CSS toglie con display:none
Uno schema che può pubblicare questa settimana
Metta la risposta nel primo paragrafo sotto il titolo. Usi un elenco per i passaggi e una tabella per un confronto. Colleghi con un href la cui ancora indica la destinazione. Poi visualizzi il sorgente e cerchi la frase. Se non c’è, non c’è neppure la citazione.
L’articolo HTML semantico descrive la forma del documento. Ottimizzazione per motori generativi è lo stesso lavoro svolto sul sito di un cliente.
Domande sui crawler AI e sull’HTML
Googlebot esegue JavaScript?
Può farlo, in un’ondata di rendering successiva che consuma budget di scansione. Tratti quell’ondata come un di più, non come la sede della risposta. Molti crawler AI non eseguono mai il bundle.
Per quali bot è scritto?
Per ogni crawler che estrae il documento recuperato: Googlebot, Bingbot, PerplexityBot, ChatGPT-User e ClaudeBot sono quelli che teniamo presenti.
Richieda un audit gratuito di estrazione per l’IA
Invii un URL pubblico. Una persona legge l’HTML che il server restituisce e Le scrive che cosa i crawler di IA possono citare e che cosa non vedono mai.