Problemi indicizzazione sito: possibili cause e cosa fare

• Indicizzazione: è un problema di tempo?
• Invio della sitemap
• Qualità e unicità dei contenuti
• WordPress e la spunta da correggere
• User experience non curata
• L’importanza del file robots.txt
• Impostazioni nei meta tag robots
• Intoppi con l’uso di JavaScript
• Azioni manuali mai corrette

La creazione di un sito web non è che il primo passo della sua avventura online. Occorrono infatti diversi passaggi perché questo raggiunga il pubblico desiderato producendo risultati a livello di traffico, visibilità e conversioni. Il primo dei requisiti necessari a qualsiasi website per muoversi verso il successo è che le sue pagine vengano indicizzate dai crawler dei motori di ricerca, impegnati ogni giorno nella scansione del world wide web.

Perché un sito compaia tra i risultati della SERP dev’essere prima notato, analizzato e, appunto, indicizzato dai bot di Google e degli altri search engines. Nonostante il lavoro di indicizzazione proceda ogni giorno in maniera costante, non è affatto scontato che un sito venga correttamente processato dall’incessante lavoro degli automatismi web: possono capitare infatti problemi di indicizzazione SEO ed errori capaci di impedire ai motori di ricerca di svolgere il loro compito efficacemente.

La mancata indicizzazione di un sito porta ovviamente numerose conseguenze negative per l’azienda o il professionista che lo ha creato come parte dei suoi asset digitali. Quindi. conoscere i principali problemi di indicizzazione è essenziale per poterli individuare e correggere prontamente.

Indicizzazione: è un problema di tempo?

Partiamo col parlare di un piccolo test che è possibile eseguire per capire se un sito è indicizzato o meno. È sufficiente infatti digitare nella barra di ricerca Google la dicitura “site:nomedominio.xx” sostituendo a nomedominio.xx il reale dominio da testare. Verranno in questo modo mostrate tutte le pagine di quel portale indicizzate dal motore di ricerca: se il sito o una sua porzione non compaiono, significa che sono effettivamente in corso problematiche di indicizzazione.

Se il sito è di recente realizzazione però, la mancata indicizzazione può essere un fenomeno fisiologico, perché le tempistiche con cui Google scandaglia il web alla ricerca di nuovi elementi non sono sempre velocissime: potrebbero infatti trascorrere anche settimane prima che il crawler noti e aggiunga ai suoi elenchi un nuovo portale. Nel momento in cui invece si è certi che il fattore tempo non può più essere la causa della mancata indicizzazione, è necessario iniziare a valutare quali controlli e quali miglioramenti possono essere messi in pratica per risolvere la situazione.

Collegare il sito web a Google Search Console è un passaggio quasi obbligato per chiunque desideri tenere monitorate tutte le informazioni relative all’andamento: ad esempio, la si può utilizzare anche per capire quali pagine sono indicizzate dal search engine e su quali invece si riscontrano errori in tal senso.

Invio della sitemap

Una pratica utile per velocizzare la procedura di indicizzazione è quella di creare e inviare a Google una sitemap XML del proprio sito web. Google Search Console può rivelarsi utile anche in questo caso, poiché consente di mostrare al motore di ricerca la mappa del sito con pochi e facili passaggi.

Generalmente entro 48 ore Google effettua la lettura della sitemap e scansiona tutte le pagine in essa contenute: si tratta di un metodo efficace per “attirare l’attenzione” dei crawler e rendere più rapido il processo di indicizzazione, consentendo inoltre al search engine una lettura chiara e corretta delle diverse porzioni del sito.

Qualità e unicità dei contenuti

È ormai risaputo che Google, così come i suoi colleghi, tendono a dare parecchia importanza alla qualità dei contenuti che vengono pubblicati sulle loro pagine e addirittura una mancata indicizzazione potrebbe dipendere anche da standard qualitativi non accettabili per il search engine. Cosa si intende per contenuti di qualità? Generalmente si presuppone che Google dia la sua preferenza a contenuti ben realizzati e concretamente utili per gli utenti a cui sono indirizzati: ogni pubblicazione online infatti dovrebbe rispondere a precise esigenze dell’audience target, soddisfare le sue domande e fornire informazioni chiare, complete e originali.

Un altro problema decisivo può riguardare l’unicità dei contenuti. Spesso su siti di grandi dimensioni e soprattutto sugli e-commerce sono presenti blocchi di contenuti identici o molto simili tra loro (listati prodotti, cataloghi etc): in questa situazione è facile che il motore di ricerca scelga di indicizzare solamente una delle pagine a disposizione, ritenendo le altre sostanzialmente identiche. Cosa fare quindi? La soluzione più utilizzata è quella di indicare ai crawler del search engine qual è la pagina più autorevole tra quelle similari, rendendola, in termini tecnici, “canonica” e assegnandole maggiore rappresentatività rispetto alle altre. In questo modo si invita Google a indicizzare il sito in maniera conforme a com’è stato concepito e alle sue funzionalità.

WordPress e la spunta da correggere

Uno degli errori più comuni, ma a che più facili da risolvere si presenta quando un sito web è stato creato con WordPress, uno dei più usati e apprezzati CMS sul mercato: una piccola spunta presente nelle sue impostazioni potrebbe suggerire ai crawler di non indicizzare il sito web.

Come accorgersene? Basta accedere come amministratore al sito e cercare tra le impostazioni Lettura e poi l’opzione Visibilità ai motori di ricerca. Qui è presente una voce che dice “Scoraggia i motori di ricerca dall’indicizzazione di questo sito”: togliere il flag a questa indicazione permette di nuovo ai crawler di scansionare il contenuto web presente sul sito WP.

User experience non curata

Come accennato, Google e gli altri motori di ricerca mettono oggi al primo posto l’esperienza dell’utente finale per classificare un sito web come di alta o di scarsa qualità. Un sito è considerato user-friendly quando è intuitivo e facile da navigare, quando le sue sezioni e sottosezioni sono di semplice fruizione, ma anche quando ha buone capacità di engagement dell’utente in navigazione.

La semplicità di lettura e di navigazione si rivelano ancora più essenziali quando si parla di dispositivi mobile, come smartphones e tablets. Un sito oggi dev’essere 100% mobile-friendly per essere valutato positivamente dai motori di ricerca: Google stessa ha introdotto qualche anno fa il mobile-first Index, che incrementa drasticamente l’importanza della fruizione mobile nella valutazione complessiva di un sito web.

La velocità di caricamento è un altro dei fattori chiave e non sono generalmente ben visti i siti che presentano una quantità eccessiva di elementi difficili da uploadare e potenzialmente fastidiosi per gli utenti. Un tempo di caricamento eccessivo oggi può di fatto decretare l’esclusione dall’indice Google, con ovvie pesanti conseguenze a livello di visibilità.

L’importanza del file robots.txt

Un altro dei fattori chiave che potrebbero portare a problemi di indicizzazione di un sito web, riguarda il file robot.txt e le impostazioni a esso associate. Infatti, il robot.txt è un fondamentale file di testo caratterizzato da codifica con caratteri Unicode (UTF-8), che viene salvato nella directory principale e custodisce tutte le indicazioni per l’accesso al sito o le restrizioni allo stesso, rivolte proprio ai web crawlers dei motori di ricerca.

Tale file racchiude un’importanza cruciale: se configurato in maniera scorretta potrebbe ad esempio impedire ai bot di accedere al sito web o a determinate sezioni dello stesso, limitando così la sua possibilità di essere scansionato e indicizzato adeguatamente. Se uno spider come Googlebot è impossibilitato ad analizzare una determinata pagina o una porzione del sito, non potrà quindi inserirla nel suo indice e, ovviamente, non potrà mostrarla nei risultati di ricerca.

Quando si ritiene necessario nascondere ai crawlers una parte del sito è bene fare molta attenzione alle operazioni che si eseguono sul file robot.txt ed è opportuno controllare e testare meticolosamente le azioni effettuate.

Impostazioni nei meta tag robots

Oltre al file robot.txt a fornire informazioni e istruzioni ai bot dei motori di ricerca possono essere anche i meta tag: mentre però il file robot.txt fornisce istruzioni generali ed estese, i metatag agiscono sulle singole pagine del sito e forniscono indicazioni agli spider su come interagire con specifici contenuti.

Quando non gestiti adeguatamente, anche i meta tag possono creare non pochi problemi di indicizzazione. Tra i più comuni e insidiosi errori c’è l’errata impostazione di istruzioni quai noindex o nofollow: la prima può impedire ai bot di indicizzare una pagina e di mostrarla tra i risultati della SERP, la seconda invece suggerisce allo spider di non seguire un determinato link che dalla pagina scansionata punta a risorse interne o esterne al sito.

Quando usati con razionalità questi meta tag sono utilissimi per la gestione di un progetto online, al contrario potrebbero dar luogo a non pochi problemi, che poi sarà imperativo andare a individuare e correggere uno per uno.

Intoppi con l’uso di JavaScript

La scelta di un linguaggio di programmazione eccessivamente complicato non è particolarmente apprezzato dai bot dei motori di ricerca impegnati nella scansione e nell’indicizzazione dei siti web. JavaScript ad esempio è un linguaggio molto diffuso e particolarmente gettonato specialmente per la creazione di animazioni ed elementi dinamici all’interno delle pagine web.

Quando uno spider come Googlebot si trova davanti a pagine dove è presente un uso massiccio di Javascript ha bisogno di numerose risorse computazionali per elaborarne il contenuto ed è possibile che non sempre ne disponga a sufficienza: ciò può provocare ritardi nell’indicizzazione o una perdita di dettagli, con conseguenti penalizzazione del sito o delle sue pagine. Nonostante l’impegno sia sempre rivolto nella direzione di ottimizzare le possibilità di interpretazione dei bot rispetto a Javascript, esistono ancora ampi margini di miglioramento in tal senso.

Azioni manuali mai corrette

È anche possibile che la mancata indicizzazione di un sito sia dovuta alla presenza di penalizzazioni pregresse che non sono mai state considerate e adeguatamente risolte. Può capitare infatti che i revisori Google applichino azioni manuali su un sito quando ritengono che le sue pagine non siano conformi alle “norme sulla qualità per i webmaster”. Tali eventi determinano una grossa perdita di ranking ma potrebbero anche far sparire il sito o alcune sue sezioni dai risultati di ricerca.

Per verificare la presenza di tali azioni è possibile ancora una volta usare Google Search Console: da lì si possono individuare le azioni manuali effettuate e provvedere alle opportune correzioni per far sì che Google riconsideri il sito ed elimini le eventuali penalizzazioni.

Analizzare a fondo, e con cadenza periodica, i possibili errori di indicizzazione è quindi essenziale se non si vuole correre il rischio di inficiare l’impegno messo nella creazione del sito web, nella gestione della Search Engine Optimization e nella creazione di contenuti di valore.