Transparence : Abondance utilise l’IA à bon escient.En savoir plus
Abondance utilise l’IA à bon escient.
L’IA nous aide pour la veille et la préparation des articles, et chaque article est relu et validé par l’équipe éditoriale d’Abondance avant sa publication. Notre usage de l’IA.
Robots.txt : pourquoi Google peut ignorer vos règles de blocage
Un utilisateur Reddit gérait un client Shopify dont la barre de recherche interne se faisait exploiter par du spam : des requêtes de spammeurs généraient des URLs de résultats de recherche pointant vers des sites tiers. Le client avait bloqué /search via disallow dans le robots.txt, mais Google continuait d'indexer ces pages malgré tout.
John Mueller a examiné le fichier robots.txt du site en question et identifié la cause : le fichier contenait à la fois une section user-agent: Googlebot et une section user-agent: * (pour tous les robots), avec des règles différentes dans chacune.
Le point clé qu’il met en exergue : avec le robots.txt, la règle la plus spécifique l'emporte toujours. Si un fichier contient une section dédiée à Googlebot, ce dernier n'appliquera que les règles de cette section précise, il ignorera complètement celles définies sous user-agent: *, même si elles semblaient censées s'appliquer à tous les robots, Googlebot inclus.
John Mueller propose une solution pratique : si on veut appliquer les mêmes règles à plusieurs user-agents, il faut soit dupliquer les règles dans chaque section, soit lister tous les user-agents concernés ensemble au-dessus d'un même bloc de règles partagées.
Source : Search Engine Journal
Taux de fiabilité : ⭐⭐⭐ On est d'accord !
Comme rappelé dans l’article de Search Engine Journal, le fichier robots.txt ne contrôle pas le crawl, mais l’indexation, d’où l’intérêt d’utiliser plutôt une directive noindex.
