Transparence : Abondance utilise l’IA à bon escient.En savoir plus
Abondance utilise l’IA à bon escient.
L’IA nous aide pour la veille et la préparation des articles, et chaque article est relu et validé par l’équipe éditoriale d’Abondance avant sa publication. Notre usage de l’IA.
Ce qu'il faut retenir :
- Selon Google, les temps de réponse plus rapides d'un CDN incitent ses robots à relever progressivement la limite de capacité d'exploration du site, ce qui peut augmenter le volume de crawl peu après la migration.
- Un CDN démarre avec un cache vide : chaque première requête sur une URL remonte jusqu'au serveur d'origine, et les robots qui parcourent tout l'inventaire d'URL multiplient ces échecs de cache.
- Google prévient qu'une protection globale contre les robots, avec CAPTCHA ou erreurs 403, bloque aussi Googlebot et peut entraîner la disparition progressive des pages dans les résultats de recherche.
- Google recommande d'autoriser les robots validés dans le CDN et le WAF, de préremplir les caches avant la bascule et de renvoyer des codes 429 ou 503 pendant quelques heures à deux jours maximum en cas de surcharge.
Pourquoi le trafic de Googlebot augmente-t-il juste après le passage à un CDN ?
Pour rappel, un CDN (Content Delivery Network) distribue les éléments d’un site sur des serveurs dits « périphériques », répartis dans le monde et placés au plus près des utilisateurs. L’objectif est double : réduire la latence pour les visiteurs et protéger le serveur d’origine, celui qui héberge le contenu source, des pics de trafic.
Dans son article du 11 novembre 2026, Google indique que certains propriétaires de sites lui signalent l’effet inverse dans les premiers temps : le trafic des robots d’exploration vers leur serveur augmente presque immédiatement après la bascule.
L’explication tient à la façon dont Google calcule la limite de capacité d’exploration d’un site, aussi appelée « charge de l’hôte ». Ses systèmes surveillent en permanence la réactivité du serveur :
- Réponses lentes : quand les temps de réponse augmentent, les robots ralentissent pour ne pas surcharger le serveur ni dégrader l’expérience des visiteurs.
- Réponses rapides et stables : Google y voit le signe d’une infrastructure saine. Si la demande d’exploration est suffisante, la limite de capacité augmente progressivement.
Dès que le DNS pointe vers le réseau du CDN, les temps de connexion et de réponse chutent nettement. Pour les systèmes de Google, cela revient à une mise à niveau matérielle massive du serveur, et les robots augmentent leur fréquence de requêtes en conséquence. Ce mécanisme s’inscrit dans le fonctionnement du budget de crawl, que Google décrit comme la combinaison de cette capacité d’exploration et de la demande d’exploration du site.
Pourquoi le serveur d’origine reste-t-il exposé au lancement du CDN ?
Une vitesse de crawl plus élevée ne poserait aucun problème si le CDN absorbait toutes les requêtes. Sauf qu’un CDN neuf démarre avec un cache vide.
Lors de la toute première requête sur une URL à un emplacement périphérique, le CDN ne possède pas encore de copie de la ressource (HTML, CSS, JavaScript, images). Google parle d’« échec de cache » (cache miss). Le serveur périphérique doit alors remonter jusqu’à l’origine, récupérer la réponse, en stocker une copie et la servir au client. Seules les requêtes suivantes sur cette même URL sont servies directement depuis la périphérie, sans solliciter l’origine. Google résume : au lancement d’un CDN, le véritable goulot d’étranglement reste le serveur d’origine.
Le problème s’aggrave à cause de la différence de comportement entre humains et robots :
- Visiteurs humains : ils se concentrent sur un ensemble restreint de pages populaires (page d’accueil, articles les plus lus, promotions en cours), qui entrent rapidement dans le cache.
- Robots d’exploration : leur rôle est de parcourir systématiquement tout l’inventaire d’URL du site, y compris les pages rarement consultées.
Combinés, ces deux effets se renforcent. Les réponses rapides du CDN poussent Googlebot à explorer davantage, et chaque URL qu’il visite pour la première fois provoque un échec de cache transmis à l’origine.
Google apporte une nuance : ses robots n’augmentent pas leur vitesse d’exploration du jour au lendemain, et de nombreux CDN intègrent une régulation des connexions qui lisse les pics. Malgré cela, tant que les caches ne sont pas remplis, le CDN ne joue pas encore son rôle de bouclier. Autrement dit, la période de remplissage du cache est la plus risquée pour l’infrastructure.
Quel est le risque à activer la protection globale contre les robots ?
Face à un afflux de requêtes automatisées dans les logs de l’origine juste après une migration, la tentation est forte de se connecter au tableau de bord du CDN et d’activer la protection globale contre les robots. Google évoque ce réflexe avec humour en citant Cherry Prommawin, Search Advocate et analyste chez Google : « LES ROBOTS NE PASSERONT PAS ! »
Le problème, selon Google, est que ces règles globales traitent tout le trafic automatisé de la même manière, y compris les robots que le site a intérêt à laisser passer. Lorsqu’un CDN ou un WAF (pare-feu d’application web, qui filtre les requêtes HTTP entrantes) intercepte des requêtes avec un test de type CAPTCHA, Googlebot échoue. Le billet note avec ironie que repérer des feux de signalisation ne fait pas partie de ses talents.
Les conséquences décrites par Google :
- Blocage : les robots se retrouvent sur une page d’erreur ou de test, inutile pour la recherche et pour les autres produits Google qui s’appuient sur les données explorées.
- Mauvaise interprétation : du point de vue de Google, le site semble délibérément restreint ou défectueux.
- Désindexation progressive : sans intervention, les robots se retirent, et les pages, fiches produits et images commencent à disparaître de la recherche.
Le récapitulatif du billet mentionne explicitement les erreurs 403 (accès refusé) et les pages de test comme les deux formes de blocage à éviter.
Comment préparer la migration vers un CDN pas à pas ?
Google propose un plan d’action en trois volets, que l’on peut décliner en étapes concrètes.
- Autoriser les robots validés dans le CDN et le WAF. Si un blocage des robots est nécessaire, Google rappelle que la plupart des CDN et WAF du marché proposent un bouton ou une règle gérée pour laisser passer les robots connus et validés. Ses robots peuvent être identifiés grâce aux plages d’adresses IP que Google publie.
- Cibler les robots indésirables plutôt que tout le trafic automatisé. Google conseille de configurer le fichier robots.txt ou des règles spécifiques visant des robots précis, au lieu de bloquer l’ensemble des clients automatisés.
- Préremplir les caches avant d’ouvrir les vannes. Avant de rediriger tout le trafic vers le CDN, Google recommande de récupérer de manière programmatique, à un rythme contrôlé, trois catégories d’URL :
- Pages à fort trafic : celles qui concentrent déjà les visites.
- Futures pages à fort trafic : lancements promotionnels ou saisonniers à venir.
- URL les plus explorées : celles que les robots consultent le plus souvent, repérables dans les logs serveur ou le rapport « Statistiques sur l’exploration » de la Search Console.
- Prévoir un frein temporaire avec les codes 429 ou 503. Si le volume de crawl continue de surcharger l’origine pendant le remplissage des caches, Google conseille de configurer la limitation de débit du serveur ou du CDN pour renvoyer un code 429 (Too Many Requests) ou 503 (Service Unavailable). Cette mesure doit rester brève : de quelques heures à un ou deux jours au maximum, comme le précise la documentation de Google sur la réduction urgente de la vitesse d’exploration.
Ces recommandations s’accompagnent d’un épisode vidéo dédié, le cinquième de la série « The Non-Canonical Cabinet », dans lequel l’équipe de Google illustre la transition (le serveur périphérique y est représenté par un poulet en caoutchouc).
Quelles limites et quels points restent à surveiller ?
Le billet de Google ne chiffre ni le délai ni l’ampleur de la hausse du crawl. Une page plus ancienne de sa documentation, consacrée aux changements d’hébergement, donne un ordre de grandeur : une baisse temporaire juste après la bascule, puis une hausse progressive sur quelques jours, parfois au-delà du niveau d’avant la migration.
Les retours d’expérience publiés montrent aussi que le lien entre CDN et crawl joue dans les deux sens. Au printemps 2026, l’ingénieur britannique Richard Nye a décrit sur DEV Community une forte baisse du crawl sur un site servi par Azure Front Door. En quelques heures, Googlebot avait changé de région d’exploration. Environ 70 % de ses requêtes ne trouvaient pas la page en cache, et le temps de réponse mesuré par Google était passé d’environ 700 ms à 1,3 s. Après l’ajout d’une origine aux États-Unis et l’allongement de la durée de cache, les temps de réponse sont retombés en quelques heures, mais le crawl a mis plus longtemps à remonter.
Sur la durée de remplissage du cache, aucune source ne permet de donner de repère fiable. Elle dépend de la taille du site, du nombre d’emplacements périphériques et de la durée de vie des ressources en cache.
Les codes 429 et 503 doivent rester un frein d’urgence. La documentation de Google sur la réduction de la vitesse d’exploration précise que ces erreurs ralentissent le crawl sur tout le nom d’hôte. Sa page sur les codes d’état HTTP ajoute que les URL déjà indexées qui continuent de les renvoyer finissent par être supprimées de l’index.
La validation des robots est le point le plus délicat. Google met à jour chaque jour, depuis mars 2025, les fichiers JSON qui listent les plages IP de ses robots. Les CDN ne suivent pas toujours ce même rythme : début 2025, des sites hébergés sur certains CDN, dont Akamai, ont vu Googlebot limité par leur WAF après une mise à jour de ces plages. Les réglages par défaut varient aussi selon les offres. Chez Cloudflare, les robots vérifiés sont exemptés d’office avec Bot Fight Mode, alors que les clients Super Bot Fight Mode et Enterprise peuvent choisir de les bloquer. Dans les jours qui suivent la bascule, le contrôle des logs serveur et du rapport « Statistiques sur l’exploration » de la Search Console reste le moyen le plus fiable de vérifier que Googlebot passe sans obstacle.