Gli strumenti per webmaster mostrano una sintesi di ciò che il motore pensa del sito. I log del server mostrano ciò che il crawler ha fatto davvero, richiesta per richiesta: quali URL ha chiesto, quando, con quale risposta. Sono la fonte più diretta per capire se le pagine importanti vengono visitate e se il tempo del crawler viene sprecato altrove.
Cosa contiene una riga di log
Nel formato più diffuso, il «combined» usato da Apache e Nginx, una riga ha questo aspetto:
66.249.66.1 - - [12/Mar/2026:10:15:32 +0100] "GET /prodotti/scarpe-rosse HTTP/1.1" 200 18234 "-" "Mozilla/5.0 (compatible; Googlebot/2.1)"
Gli elementi utili sono:
| Campo | Esempio | A cosa serve |
|---|---|---|
| Indirizzo IP | 66.249.66.1 |
verificare chi è il client |
| Data e ora | 12/Mar/2026:10:15:32 |
frequenza delle visite |
| Metodo e URL | GET /prodotti/scarpe-rosse |
cosa è stato richiesto |
| Codice di stato | 200 |
come ha risposto il server |
| Dimensione | 18234 |
peso della risposta |
| User agent | Googlebot/2.1 |
chi dichiara di essere |
Se il sito è dietro una CDN, i log del server di origine possono mostrare l'IP della CDN invece di quello del client: in quel caso servono i log della CDN o un'intestazione che riporti l'IP originale.
Lo user agent non basta
Chiunque può scrivere «Googlebot» nello user agent. Scraper e strumenti automatici lo fanno spesso, proprio per non essere bloccati. Prima di trarre conclusioni bisogna separare i crawler veri da quelli falsi.
Il metodo affidabile è la doppia verifica DNS:
- si esegue una ricerca DNS inversa sull'IP: per un Googlebot autentico il nome restituito termina con
googlebot.comogoogle.com; - si esegue una ricerca diretta su quel nome: deve restituire lo stesso IP di partenza.
host 66.249.66.1
host crawl-66-249-66-1.googlebot.com
Il secondo passaggio è indispensabile, perché chi controlla un indirizzo IP può configurare a piacere il suo DNS inverso. Bing segue lo stesso schema con nomi che terminano in search.msn.com. Diversi motori pubblicano anche l'elenco dei propri intervalli di IP, utile per verifiche automatiche su grandi volumi.
Le domande a cui rispondere
Una volta filtrate le richieste dei crawler verificati, l'analisi diventa una serie di domande concrete.
Le pagine importanti vengono visitate?
Confronta l'elenco degli URL nella sitemap con quelli richiesti dal crawler negli ultimi trenta giorni. Le pagine mai visitate sono candidate a un problema di scoperta: link interni assenti, profondità eccessiva, esclusioni involontarie.
Dove si concentra la scansione?
Raggruppa le richieste per sezione del sito o per modello di URL. Se una grande parte va su parametri di filtro, pagine di ricerca interna o calendari infiniti, il crawler sta spendendo tempo su URL di scarso valore.
Quali risposte riceve?
| Situazione | Possibile significato |
|---|---|
| molti 301 | link interni non aggiornati dopo una migrazione |
| molti 404 | link rotti o vecchi URL ancora richiesti |
| 5xx frequenti | server sotto carico o errori applicativi |
| 304 | il server gestisce correttamente le richieste condizionali |
Con che frequenza torna?
Una pagina aggiornata spesso ma visitata di rado indica che il motore non percepisce quei cambiamenti. Una pagina mai modificata visitata ogni giorno può indicare che altrove il crawler trova poco di nuovo.
Cosa succede dopo una modifica?
Dopo una migrazione, un rilascio o un cambio di robots.txt, i log mostrano entro pochi giorni se il comportamento del crawler è cambiato, molto prima che il traffico organico lo riveli.
Strumenti
Per siti piccoli bastano strumenti da riga di comando:
grep "Googlebot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
Questo comando conta le risposte per codice di stato tra le richieste che si dichiarano Googlebot, da affinare poi con la verifica degli IP. Per volumi maggiori conviene caricare i log in un database o usare un analizzatore di log dedicato alla SEO, che incrocia i dati con una scansione del sito.
Nel mio lavoro tengo almeno qualche mese di log, compressi e archiviati: molte domande, come «quando ha smesso di visitare questa sezione?», richiedono uno storico.
Attenzione ai dati personali
I log contengono indirizzi IP e talvolta parametri con dati degli utenti. Per l'analisi SEO servono solo le richieste dei crawler: conviene filtrarle all'origine, limitare l'accesso ai file grezzi e stabilire per quanto tempo conservarli.
In sintesi
- I log mostrano ciò che i crawler fanno davvero, non ciò che si presume.
- Lo user agent si falsifica facilmente: verifica gli IP con DNS inverso e diretto.
- Confronta gli URL visitati con la sitemap per trovare le pagine trascurate.
- Raggruppa per sezione e per codice di stato per capire dove si spreca la scansione.
- Conserva uno storico, filtrando e proteggendo i dati personali.
