Dans un récent podcast publié sur YouTube, plusieurs experts de chez Google dévoilent la vérité qui se cache derrière la notion de Crawl Budget et expliquent comment Google priorise réellement les contenus à indexer. Pour faire simple : il va falloir viser des contenus de qualité et soigner l’expérience utilisateur si vous voulez attirer les robots d'indexation !
Ce qu’il faut retenir :
- Google indique que le concept de Crawl Budget n'est pas aussi rigide qu'on le pense.
- L'amélioration de la qualité du contenu et de l'expérience utilisateur sont la clé pour être favorisé par Googlebot.
- Google admet qu'il n'existe pas une approche universelle pour la priorisation du crawl.
Mythes et réalités sur le Crawl Budget
Les professionnels de la sphère SEO ont longtemps spéculé sur l'existence d’un Crawl Budget, une limite quotidienne hypothétique du nombre de pages que les moteurs de recherche seraient en mesure d’explorer. Cette notion a été largement débattue, laissant entendre que les sites doivent composer avec les limites de ce budget pour assurer l'indexation de leurs pages.
Récemment, dans le cadre d’un podcast disponible sur YouTube, des ingénieurs de recherche Google ont apporté des éclaircissements à ce sujet, démystifiant plusieurs idées fausses autour du concept et expliquant comment Google détermine réellement les priorités de crawl.
Crawl : l’approche de Google
Dave Smart, consultant SEO et expert produit chez Google, souligne l'existence de nombreux mythes entourant le crawl, dont le concept même de Crawl Budget. Selon lui, pour comprendre les priorités de Google, il est essentiel de se baser sur des points de départ connus, d'où le moteur peut extraire des liens et déterminer l'importance relative des contenus à indexer.
Gary Illyes, membre de l'équipe en charge des relations chez Google, confirme cette approche, ajoutant que la demande de recherche influence directement les limites de crawl. Autrement dit, augmenter la quantité de contenu exploré par Google nécessite de convaincre le moteur de recherche de la valeur de ce contenu grâce à l'interaction des utilisateurs.
Il y a plusieurs jours, John Mueller avait déjà indiqué que le concept de Crawl Budget, que l’on doit à la communauté SEO, n’avait pas vraiment de sens puisque Google n’imposait aucune limite. Par ailleurs, il avait précisé que si un site est peu exploré, cela peut vouloir dire que Google ne voit pas d’intérêt de le faire. Une déclaration qui semble plutôt en accord avec les propos de ses collègues.
Qualité des contenus et expérience utilisateur
Gary Illyes met également l'accent sur la dynamique de la programmation du crawl, qui s'ajuste en fonction de la qualité du contenu signalée par les retours de l'indexation. En somme, cela signifie qu'il n'y a pas de budget fixe ; améliorer la qualité des pages et démontrer leur utilité peut permettre de surpasser toute limitation supposée.
Illyes admet également que Google n'offre pas de réponse unique pour tous les sites en termes de priorisation de crawl. L'amélioration d'une section spécifique du site peut significativement augmenter les chances d'être mieux crawlé et indexé.
Selon Google, l'essentiel est de se concentrer sur la production de contenus de haute qualité plutôt que d'essayer de manipuler un quota de crawl hypothétique. Obtenir naturellement des liens et améliorer le service rendu aux utilisateurs sont des stratégies gagnantes !
- Google Confirms: High-Quality Content Is Crawled More Often (Search Engine Journal), 14/03/2024.
Articles complémentaires :
Goossips SEO : Budget Crawl et paramètres UTM
Goossips : Sections de Sites, Algorithmes et Liens, Soft 404 et Budget Crawl
Les clés pour optimiser le crawl de son site
