Budget de crawl : ce que c'est et quand vous devez vraiment vous en préoccuper

Ce qu'est réellement le budget de crawl

Le budget de crawl combine deux choses : le nombre de requêtes que le robot de Google est prêt à faire à votre serveur sans le surcharger, et à quel point Google veut réellement explorer votre site en fonction de sa popularité et de la fréquence à laquelle le contenu change. Il détermine quelle part d'un grand site est explorée, et à quelle vitesse, un jour donné — pas si une page spécifique peut être indexée du tout.

Le test de réalité dont la plupart des sites ont besoin

Pour un site de quelques milliers d'URL ou moins, le budget de crawl n'est presque jamais le véritable goulot d'étranglement — Google peut généralement explorer un site de cette taille en moins d'une journée, même sans aucune optimisation. Si une page d'un petit site n'est pas indexée, la cause la plus probable est de loin la qualité du contenu, un blocage technique, ou la découverte (aucun lien interne ne pointant vers elle) — voir pourquoi Google n'indexe pas votre site avant de supposer que le budget de crawl est en cause.

Quand cela compte vraiment

• Les grands sites — des dizaines de milliers d'URL ou plus — où le robot ne peut tout simplement pas atteindre chaque page aussi souvent que vous le souhaiteriez.
• Les sites avec une navigation à facettes ou des paramètres d'URL importants (ordres de tri, filtres, ID de session) qui multiplient une poignée de vraies pages en un nombre énorme d'URL explorables presque dupliquées.
• Les sites qui publient ou mettent à jour du contenu assez fréquemment pour que la fraîcheur de la réexploration, et pas seulement la découverte initiale, soit le véritable objectif.

Comment vérifier si c'est vraiment votre goulot d'étranglement

Ouvrez Paramètres → Statistiques d'exploration dans Search Console et comparez le nombre moyen de pages explorées par jour à votre nombre total d'URL indexables. Si votre site compte 200 000 URL et que Google en explore 2 000 par jour, le budget est une contrainte réelle. Si vous avez 300 URL, ce n'en est pas une — quel que soit l'aspect du graphique des statistiques d'exploration.

Solutions pour les sites réellement contraints

• Bloquez les combinaisons de paramètres à faible valeur et les URL de filtre/tri infinies dans robots.txt — voir robots.txt vs noindex.
• Regroupez les URL presque dupliquées avec des balises canonical au lieu de laisser Google explorer et évaluer chaque variante séparément — voir contenu dupliqué et balises canonical.
• Corrigez les temps de réponse lents du serveur — un serveur plus rapide augmente directement la limite du taux d'exploration que Google est prêt à utiliser.
• Élaguez ou passez en noindex les pages réellement pauvres et à faible valeur qui consomment de l'attention d'exploration sans jamais valoir la peine d'être classées.

Le budget de crawl n'est pas le seul levier pour le nouveau contenu

Attendre que le robot priorise une URL nouvelle ou mise à jour selon son propre calendrier est exactement la contrainte que décrit le budget de crawl. IndexNow la contourne pour les URL qui comptent le plus, en notifiant directement les moteurs de recherche compatibles dès qu'une page est prête, au lieu d'attendre d'être réexplorée et réévaluée selon leur propre calendrier. Voir comment faire indexer rapidement un nouvel article de blog pour la version pas à pas.