Il rapporto sull'indicizzazione delle pagine, negli strumenti per webmaster di Google, divide gli URL conosciuti in due gruppi: indicizzati e non indicizzati. Il secondo gruppo spaventa quasi tutti alla prima apertura, perché contiene spesso più URL del primo. In realtà gran parte di quegli stati è normale e voluta. Il lavoro consiste nel distinguere ciò che è previsto da ciò che è un problema.
Come è organizzato
Per ogni motivo di mancata indicizzazione il rapporto mostra il numero di URL coinvolti, l'andamento nel tempo e un elenco di esempi. Gli esempi sono un campione, non l'elenco completo, e i dati vengono aggiornati con qualche giorno di ritardo.
Le diciture esatte dipendono dalla lingua dell'interfaccia; qui uso descrizioni equivalenti.
Gli stati normali, se coerenti con le tue scelte
Pagina con reindirizzamento
L'URL redirige altrove. È normale per vecchi URL dopo una migrazione. Diventa un problema solo se tra questi compaiono pagine che dovrebbero essere indicizzate, o se i link interni puntano ancora a URL reindirizzati.
Esclusa dal tag noindex
La pagina ha un noindex. Controlla l'elenco: se contiene solo pagine che hai escluso di proposito, come carrello, area riservata o ricerca interna, va bene. Se compaiono pagine importanti, c'è un noindex sfuggito, spesso da un template o dallo staging.
Pagina alternativa con canonical appropriato
L'URL dichiara un canonical verso un'altra pagina e il motore lo rispetta. Tipico per varianti con parametri o versioni stampabili. Normale.
Non trovata (404)
URL che rispondono 404. Se sono pagine eliminate di proposito o URL mai esistiti, è normale. Controlla soltanto quelli che ricevono link interni o che corrispondono a contenuti ancora attivi.
Bloccata da robots.txt
URL esclusi dalla scansione. Va bene se il blocco è voluto. Ricorda però che un URL bloccato può comunque comparire nell'indice, senza contenuto, se riceve link: per escluderlo davvero serve un noindex su una pagina scansionabile.
Gli stati che richiedono attenzione
Rilevata, ma non ancora scansionata
Il motore conosce l'URL ma non lo ha ancora visitato. Le cause tipiche:
- il sito ha più URL di quanti il motore ritenga utile scansionare, spesso per parametri e filtri;
- il server è lento o ha dato errori, e il motore ha rallentato;
- le pagine ricevono pochi link interni e sembrano poco importanti.
Se lo stato riguarda poche pagine nuove, basta attendere. Se riguarda una sezione intera da settimane, serve lavorare su link interni, riduzione degli URL inutili e prestazioni del server.
Scansionata, ma non indicizzata
Il motore ha visitato la pagina e ha deciso di non includerla, almeno per ora. È quasi sempre una questione di valore percepito, non tecnica:
- contenuti molto simili ad altre pagine dello stesso sito;
- pagine sottili, con poco testo originale;
- pagine generate automaticamente in gran numero, come tag con un solo articolo.
La risposta non è inviare la pagina più volte, ma migliorarla, accorparla ad altre o rimuoverla.
Duplicata, con canonical scelto dal motore diverso dal tuo
Hai indicato un canonical, ma il motore ne ha scelto un altro. Succede quando gli altri segnali contraddicono la tua indicazione: link interni che puntano alla versione alternativa, sitemap con l'URL «sbagliato», redirect incoerenti, contenuti quasi identici. Allinea tutti i segnali verso l'URL che preferisci.
Duplicata senza canonical indicato
Il motore ha trovato pagine duplicate e nessuna dichiara quale sia la principale. Aggiungi un canonical autoreferenziale alle pagine principali e indica la versione preferita su quelle duplicate.
Soft 404
La pagina risponde 200 ma sembra vuota o di errore. Correggi il codice di stato o aggiungi contenuto reale.
Errore del server (5xx) e problemi di redirect
Errori tecnici veri: vanno risolti con priorità, perché possono riguardare pagine importanti.
Un metodo di lavoro
Nel mio lavoro affronto il rapporto in quest'ordine:
- parto dalla sitemap: filtro il rapporto sugli URL inviati in sitemap, perché sono quelli che ho dichiarato importanti. Tutto ciò che lì non è indicizzato merita una spiegazione;
- cerco le anomalie nel grafico: un picco improvviso in uno stato indica quasi sempre un rilascio o una modifica precisa;
- controllo gli esempi: apro alcuni URL con lo strumento di controllo URL per vedere come li ha visti il motore;
- correggo e convalido: dopo la correzione, la funzione di convalida chiede al motore di riverificare gli URL di quel gruppo.
Ignorare un numero alto di URL non indicizzati è spesso la scelta giusta, purché si sappia perché non lo sono.
In sintesi
- Molti stati di mancata indicizzazione sono normali e coerenti con le tue scelte.
- «Rilevata ma non scansionata» indica problemi di priorità, link interni o server.
- «Scansionata ma non indicizzata» è quasi sempre una questione di valore del contenuto.
- Se il motore sceglie un altro canonical, allinea link, sitemap e redirect.
- Parti dagli URL in sitemap e indaga i picchi nel grafico.
