Crawl budget : faut-il s'en préoccuper et comment l'optimiser ?

Le crawl budget (budget d'exploration) désigne la quantité de pages que Googlebot peut et veut explorer sur votre site sur une période donnée. Le sujet revient souvent, mais il ne concerne pas tout le monde.

Les deux composantes

• La capacité d'exploration : Google adapte son rythme pour ne pas surcharger votre serveur. Un site rapide et stable peut être exploré davantage.
• La demande d'exploration : elle dépend de la popularité de vos URL, de la fréquence de modification de leur contenu et de leur intérêt perçu.

Qui doit s'en préoccuper ?

Google précise que la plupart des sites n'ont pas besoin de gérer leur budget d'exploration. Le sujet concerne surtout :

• les très grands sites (de l'ordre du million de pages ou plus) dont le contenu change régulièrement ;
• les sites de taille moyenne dont le contenu change très rapidement, par exemple chaque jour ;
• les sites qui présentent une grande proportion d'URL « détectées, actuellement non indexées » dans la Search Console.

Pour un site de quelques centaines ou milliers de pages, les problèmes d'indexation viennent presque toujours d'ailleurs : qualité du contenu, maillage, blocages techniques.

Comment le diagnostiquer

• Le rapport « Statistiques sur l'exploration » de la Search Console (dans les paramètres) montre le nombre de requêtes, les temps de réponse et les codes renvoyés.
• Le rapport « Indexation des pages » révèle les URL explorées mais non indexées.
• L'analyse des journaux du serveur permet de voir précisément quelles pages sont visitées par les robots.

Les actions qui comptent

• Réduire les URL en doublon : paramètres de tri et de suivi, filtres à facettes, identifiants de session.
• Bloquer l'exploration des zones sans valeur avec le fichier robots.txt : pages de recherche interne, paniers, calendriers infinis. Attention : une balise noindex n'économise pas d'exploration, car la page doit tout de même être lue.
• Corriger les erreurs : pages en soft 404, chaînes de redirections, erreurs serveur.
• Tenir le sitemap à jour avec des URL canoniques et des dates de modification fiables.
• Améliorer les temps de réponse du serveur : un serveur rapide permet une exploration plus soutenue.
• Soigner le maillage interne pour que les pages importantes soient proches de l'accueil et facilement découvertes.
• Supprimer ou fusionner les contenus de faible valeur.

Les idées reçues

• « Plus de crawl égale plus de trafic » : être exploré n'est pas être bien classé.
• « Il faut tout bloquer sauf l'essentiel » : bloquer par erreur des ressources utiles à l'affichage nuit à la compréhension de la page.
• « Les 404 gaspillent le budget » : un petit nombre de 404 est normal et sans conséquence pour le reste du site.

Si votre site est de taille modeste, concentrez-vous sur la qualité des contenus et la clarté de la structure. Le crawl budget deviendra un levier d'optimisation seulement lorsque l'échelle du site le justifie.