Crawl Budget, come funziona e perché aiuta la SEO?
Il crawl budget insieme ad altri indicatori ci può aiutare a capire se il nostro sito è sulla “strada SEO giusta” o se invece ci sono miglioramenti che possiamo eseguire per migliorare il nostro sito.
L’obiettivo di Google è di fornire risposte alle ricerche degli utenti nel più breve tempo possibile. Queste risposte non solo devono essere fornite in tempi rapidi, ma devono anche essere aggiornate con le ultime news, eventi, prodotti e pagine pubblicate dai siti web di tutto il mondo. In questo analizzare il Crawl Budget diventa fondamentale.
Come Funziona Google: la Scansione
Per essere sempre aggiornato su quello che succede praticamente in tutti i siti del mondo Google utilizza un crawler famoso con il nome di Googlebot.
Un crawler (detto anche web crawler, spider o robot), è un software che analizza i contenuti di una rete (o di un database) in un modo metodico e automatizzato, in genere per conto di un motore di ricerca. Un crawler è un tipo di bot (programma o script che automatizza delle operazioni), e i crawler solitamente acquisiscono una copia testuale di tutti i documenti visitati e le inseriscono in un indice. (wikipedia)
Pur essendo dotato di risorse in grado di fornire risposte a 40 milioni di ricerche al secondo, anche Google deve cercare di ottimizzare i propri algoritmi (il tempo è denaro), in modo da essere il più efficiente possibile. È da questa esigenza che nasce il parametro Crawl Budget.
Cos’è il Crawl Budget?
Il Crawl Budget è il budget in termini di tempo che Google assegna al suo software di scansione Googlebot per scansionare il nostro sito.
Più è alto il tempo che Google alloca per scansionare il nostro sito e più questo implica che il sito è interessante agli occhi di Google e che ritiene importanti i nostri contenuti.
Sono principalmente due i fattori che influenzano il Crawl Budget:
Crawl Rate Limit (velocità di scansione)
Per evitare di sovraccaricare i server che ospitano i siti web e rovinare l’esperienza di navigazione degli utenti Google limita automaticamente la velocità di scansione del suo Googlebot. Più lentamente Googlebot dovrà eseguire la scansione e meno saranno le pagine scansionate.
Crawl Demand (livello di interesse dei contenuti)
Le URL più popolari tenderanno ad essere scansionate più frequentemente in modo da aggiornare con le ultime informazioni disponibili l’indice di Google. Questo dato, riscontrabile anche con altri strumenti di analisi come Google Analytics, ci può indicare quali contenuti sono veramente importanti nel nostro sito e quali possiamo migliorare. Google inoltre vuole evitare di avere URL inutili nel proprio indice, quindi esegue le scansioni anche con lo scopo di verificare eventuali redirect o modifiche alla struttura dei siti e quando possibile eliminare dal proprio indice contenuti obsoleti
A questo punto vi starete chiedendo “Come faccio a sapere il Crawl Budget attribuito al mio sito?”. Grazie alla Google Search Console.
Il ruolo di Google Search Console nel Crawl Budget
All’interno di Google Search console, nella sezione Scansione -> Statistiche di scansione si possono individuare tre grafici:
- Pagine sottoposte a scansione giornalmente
- Kilobyte scaricati giornalmente
- Tempo trascorso per il download di una pagina (in millisecondi)
Con i dati presenti nei grafici possiamo valutare l’andamento nel tempo delle scansioni effettuate nel nostro sito.
Com’è andata la scansione del tuo sito da parte di Google? Come puoi aumentare il Crawl Budget?
Se notate che il sito viene scansionato da Googlebot troppo raramente rispetto ai nuovi contenuti pubblicati oppure notate un tempo di download insolitamente alto rispetto al solito o in relazione alla struttura del sito forse è il caso di agire.
4 azioni per incrementare il crawl budget
Per incrementare il crawl budget le azioni possibili sono principalmente:
- Migliorare il ranking del sito attraverso la link building offsite
- Aggiornare il sito con nuovi contenuti.
- Migliorare le prestazioni dell’hosting ed ottimizzare il caricamento delle pagine e dei contenuti presenti nelle pagine.
- Verifica eventuali errori di scansione nella Google Search Console
Pronto per ottimizzare il Crawl Budget?
Il Crawl Budget, pur non influenzando direttamente l’indicizzazione del nostro sito sui motori di ricerca è un parametro che ci può indicare lo stato di salute del nostro sito agli occhi di Google.
Il mio consiglio è di tenerlo in considerazione soprattutto per valutare eventuali scostamenti anomali rispetto al trend del sito, cosa facilmente riscontrabile grazie ai grafici con gli ultimi 90 giorni di Google Search Console.
Se hai notato che qualcosa non va e che ci sono attività tra quelle che ho riportato che potresti intraprendere per migliorare il tuo Crawl Budget, procedi… ma con cautela. Alcuni miglioramenti come l’applicazione di redirect e/o dell’attributo nofollow a determinate pagine o anche la modifica del file robots.txt possono comportare gravi danni all’indicizzazione del sito se non eseguiti correttamente.
Se pensi invece che ci siano aspetti migliorabili ma credi di aver bisogno di una mano o anche solo di un consiglio, contattami pure senza impegno su messenger o attraverso la form contatti e ti risponderò il prima possibile.
