Il termine crawl budget circola molto, spesso a sproposito. Lo si cita per spiegare qualsiasi problema di indicizzazione, anche su siti con poche centinaia di pagine dove non c'entra nulla. In realtà è un concetto preciso, utile in contesti precisi, e sapere quando applicarlo evita interventi inutili.
Che cos'è, in concreto
Il crawl budget è la quantità di URL che un motore di ricerca è disposto e capace di scansionare su un sito in un certo periodo. Nasce dall'incontro di due fattori.
- Capacità di scansione: quante richieste il crawler può fare senza mettere in difficoltà il server. Se l'host risponde velocemente e senza errori, il limite si alza; se rallenta o restituisce errori 5xx, il crawler si ritira.
- Domanda di scansione: quanto il motore vuole visitare quel sito. Dipende dalla popolarità degli URL e da quanto spesso il contenuto cambia.
Il risultato è un numero di visite che non si può comprare né impostare, ma che si può spendere bene o male.
Quando ha senso preoccuparsene
Per un sito di qualche centinaio o qualche migliaio di pagine, con contenuti che cambiano di rado, il crawler riesce normalmente a visitare tutto senza difficoltà. Se lì una pagina non è indicizzata, la causa è quasi sempre altrove: qualità, duplicazione, noindex, assenza di link.
Il crawl budget diventa rilevante in tre situazioni:
- siti molto grandi, come cataloghi e-commerce, portali di annunci, archivi editoriali;
- siti con contenuti che cambiano spesso, dove la freschezza conta e il ritardo nella scansione si traduce in risultati obsoleti;
- siti che generano URL quasi infiniti, per esempio con filtri combinabili, calendari o parametri di sessione.
Nel terzo caso anche un sito «piccolo» per numero di prodotti può produrre milioni di indirizzi diversi, e lì il problema è reale.
Dove si spreca il budget
Gli sprechi più comuni sono tecnici e ripetitivi:
- navigazione a faccette che crea un URL per ogni combinazione di filtri (colore, taglia, prezzo, ordinamento);
- parametri di tracciamento o di sessione aggiunti ai link interni;
- catene di redirect, dove ogni salto è una richiesta in più;
- pagine di errore che rispondono 200, che il crawler continua a visitare credendole valide;
- duplicati dovuti a varianti con e senza
www, con e senza barra finale, in maiuscolo e minuscolo; - spazi infiniti, come calendari con il link «mese successivo» che non finisce mai.
Ogni richiesta spesa su questi indirizzi è una richiesta non spesa sulle pagine che contano.
Come intervenire
Ridurre gli URL inutili alla fonte
La soluzione migliore è non generare l'URL superfluo. I filtri che non meritano una pagina indicizzabile possono essere gestiti senza cambiare indirizzo, oppure con link che il crawler non segue. I parametri di tracciamento vanno tolti dai link interni.
Bloccare ciò che non deve essere scansionato
Per sezioni che non devono mai essere visitate, come risultati di ricerca interna o combinazioni di filtri senza valore, una regola in robots.txt impedisce la scansione. Attenzione però: un URL bloccato non può comunicare un noindex né un canonical, perché il crawler non lo legge.
Correggere errori e redirect
Collegare direttamente la destinazione finale invece di passare da un redirect, restituire 404 o 410 per le pagine eliminate e sistemare i soft 404 libera risorse in modo immediato.
Tenere il server in salute
Tempi di risposta bassi ed errori rari permettono al crawler di aumentare il ritmo. Un picco di errori 5xx o 429 lo porta invece a rallentare per giorni.
Segnalare i cambiamenti
Una sitemap con lastmod accurato aiuta il motore a capire quali pagine sono cambiate davvero. Un lastmod aggiornato artificialmente su tutte le pagine ogni giorno, al contrario, rende il dato inaffidabile.
Come misurarlo
Il dato più affidabile viene dai log del server: filtrando le richieste dei crawler verificati si vede quali sezioni vengono visitate, con quale frequenza e quanta parte delle richieste finisce su URL inutili. Le statistiche di scansione degli strumenti per webmaster mostrano invece l'andamento delle richieste, i tempi di risposta e la distribuzione dei codici di stato.
| Indicatore | Cosa suggerisce |
|---|---|
| Molte richieste su URL con parametri | Faccette o tracciamento da contenere |
| Tante risposte 3xx | Link interni che puntano a redirect |
| Tempi di risposta in crescita | Server sotto sforzo, scansione che rallenterà |
| Pagine importanti visitate di rado | Link interni deboli o troppo profondi |
In sintesi
- Il crawl budget nasce da capacità del server e interesse del motore.
- Conta per siti grandi, dinamici o che generano URL senza fine.
- Gli sprechi tipici sono faccette, parametri, redirect, soft 404 e duplicati.
- Un URL bloccato in robots.txt non può trasmettere noindex né canonical.
- I log del server sono la misura più affidabile di come viene speso.
