Crawl Budget

Come ottimizzare il Crawl Budget: ecco qualche consiglio pratico da prendere in considerazione per fare Crawl Budget Optimization sul tuo sito web

Cos’è il Crawl Budget?

Il Crawl Budget indica il numero di pagine di un sito web che lo spider di Google scansiona ed indicizza entro un determinato periodo di tempo. È un fattore legato alla Technical SEO molto importante soprattutto per siti di grandi dimensioni, e-commerce e testate giornalistiche online.


Perché è importante ottimizzare il Crawl Budget?

Il GoogleBot durante la scansione delle pagine di un sito dedica risorse di tempo e computazionali. Se il numero di queste pagine supera il budget di scansione alcune di queste potrebbero non essere mai raggiunte e quindi non indicizzate.

Per questo è importante l’ottimizzazione del Crawl Budget. È necessario non sprecare queste risorse sfruttandole al meglio ottimizzando la struttura delle pagine, mettendo in evidenza quelle con maggior peso in termini di visibilità, utilità per gli utenti e crescita del fatturato.

Detto questo, non voglio creare inutili allarmismi: Google è in grado di effettuare autonomamente il crawling di quasi la totalità dei siti e delle risorse sparse in rete.

Nonostante tutto esistono casi specifici per i quali è necessario prestare attenzione:

  • siti di grandi dimensioni con oltre 10k pagine, il GoogleBot potrebbe avere problemi a individuarle tutte le risorse (e-commerce di grandi dimensioni, testate giornalistiche o siti redazionali);
  • Redirect Chains ed eccessivi reindirizzamenti possono consumare il budget di scansionamento del tuo sito (redirect 301 per gestire url rewriting o passaggio delle url in https per esempio);
  • nel caso in cui improvvisamente venga aggiunta una nuova sezione del sito contenente centinaia di nuove risorse da far indicizzare.

I fattori che influenzano negativamente il Crawl Budget

I principali fattori che hanno un impatto negativo sul Crawl Budget sono:

  • tempi di caricamento delle pagine eccessivamente lunghi;
  • duplicazione di contenuti all’interno del sito causati da parametri nell’URL (parametri in querystring) o da URL differenti che indirizzano alla stessa risorsa;
  • risorse che restituiscono errori 404;
  • contenuti spam o di bassa qualità;
  • Infinite Spaces o spazi di link sconfinati che non apportano nuovi contenuti di valore da indicizzare (sezioni di paginazione o di filtro).

Come ottimizzare il Crawl Budget?

Vuoi ottimizzare il Crawl Budget del tuo sito? Ecco qualche consiglio utile per fare Crawl Budget Optimization:

La velocità del server

Aumentando i tempi di risposta del server e ottimizzando i tempi di caricamento delle pagine puoi migliorare l’esperienza utente e facilitare il crawling del GoogleBot consentendogli di scansionare ed indicizzare più pagine del tuo sito.


L’architettura del sito

La struttura del sito è un altro aspetto fondamentale di facilitazione al crawling e di conseguenza all’ottimizzazione del Crawl Budget. Organizzando infatti le informazioni del sito all’interno di un’alberatura facilmente scansionabile consenti al GoogleBot di comprendere maggiormente la priorità, l’importanza e la corretta gerarchia delle tue pagine.

Da evitare pertanto:

  • pagine orfane, cioè pagine a cui nessuna risorsa interna punta tramite link;
  • annidamenti inutili delle pagine foglia che limitano la loro visibilità allo spider;
  • strutture gerarchiche troppo profonde che non facilitano il raggiungimento delle risorse. È consigliato pertanto non superare il terzo livello di profondità gerarchica.

Gli Internal Linking

Incrementare una struttura di Internal Linking consente al GoogleBot di raggiungere con più facilità tutte le risorse del sito che si desidera indicizzare. È consigliata pertanto la creazione di una ragnatela di collegamenti interni di approfondimento verso altre risorse o pagine strategiche del sito.


Il file robots.txt

Assicurati di integrare nel file robots.txt regole disallow che facciano risparmiare tempo allo spider evitando la scansione di risorse inutili o di bassa importanza (pagine di CMS, pagine con parametri e pagine duplicate).


Aggiornamento dei contenuti

Aggiornando ed inserendo nuovi contenuti puoi stimolare l’attività del crawler e conseguentemente la frequenza e il tempo che dedica al tuo sito.


Approfondimenti

Qualche risorsa utile per approfondire il tema sull’ottimizzazione del Crawl Budget:

What Crawl Budget Means for Googlebot: la definizione ufficiale di Google del Crawl Budget.

Crawl Budget Optimization: una video guida completa alla Crawl Budget Optimization.

Marco D'Amico

Marco D'Amico

SEO Specialist, Digital Strategist e fondatore di SEOAlk. Da anni si occupa di sviluppo web, ottimizzazione SEO e Digital Coaching.

Condividi su linkedin
Condividi su facebook
Condividi su twitter
Condividi su email

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *