---
title: "Goossips SEO : Robots.txt"
url: "https://www.abondance.com/20260728-2674772-goossips-seo-robots-txt.html"
type: article
author: "Johan Sellitto"
date: 2026-07-28
modified: 2026-07-28
categories: ["Goossips"]
---

# Goossips SEO : Robots.txt

Quelques infos sur Google (et Bing parfois) et son moteur de recherche, glanées ici et là de façon officieuse ces derniers jours, avec au programme cette semaine quelques réponses à ces questions : pourquoi Googlebot peut être amené à ignorer le fichier robots.txt ?

**Goossip #1**

## Robots.txt : pourquoi Google peut ignorer vos règles de blocage

Un utilisateur Reddit gérait un client [Shopify](https://www.abondance.com/outils-seo/shopify) dont la barre de recherche interne se faisait exploiter par du spam : des requêtes de spammeurs généraient des URLs de résultats de recherche pointant vers des sites tiers. Le client avait bloqué /search via disallow dans le robots.txt, mais Google continuait d'indexer ces pages malgré tout.

John Mueller a examiné le fichier robots.txt du site en question et identifié la cause : le fichier contenait à la fois une section user-agent: Googlebot et une section user-agent: \* (pour tous les robots), avec des règles différentes dans chacune.

Le point clé qu’il met en exergue : **avec le robots.txt, la règle la plus spécifique l'emporte** **toujours**. Si un fichier contient une section dédiée à Googlebot, ce dernier n'appliquera que les règles de cette section précise, il ignorera complètement celles définies sous user-agent: \*, même si elles semblaient censées s'appliquer à tous les robots, Googlebot inclus.

John Mueller propose une solution pratique : si on veut appliquer les mêmes règles à plusieurs user-agents, il faut soit dupliquer les règles dans chaque section, soit lister tous les user-agents concernés ensemble au-dessus d'un même bloc de règles partagées.

**Source** : [Search Engine Journal](https://www.searchenginejournal.com/google-says-why-it-may-ignore-robots-txt-and-negatively-impact-seo/583475/)

**Taux de fiabilité :** ⭐⭐⭐ On est d'accord !

Comme rappelé dans l’article de Search Engine Journal, le fichier robots.txt ne contrôle pas le crawl, mais l’indexation, d’où l’intérêt d’utiliser plutôt une directive noindex.

Pour citer : Goossips SEO : Robots.txt, Abondance, 2026-07-28, https://www.abondance.com/20260728-2674772-goossips-seo-robots-txt.html
