Robots.txt

Le fichier robots.txt est un fichier texte placé à la racine d'un site (exemple.fr/robots.txt) qui indique aux robots d'exploration les parties du site qu'ils peuvent ou ne peuvent pas explorer, au moyen des directives User-agent, Disallow et Allow, et qui peut signaler l'emplacement des sitemaps. Défini en 1994 et normalisé par l'IETF en 2022 à l'initiative de Google, il est lu par tous les moteurs sérieux avant toute exploration. Il agit sur l'exploration, pas sur l'indexation : une URL bloquée peut encore apparaître dans Google si d'autres pages y mènent. Depuis 2023, il est aussi le moyen de choisir quels robots d'IA peuvent collecter le contenu d'un site.

Qu'est-ce qu'un fichier robots.txt ?

Lorsqu'un robot d'un moteur de recherche arrive sur un site, il se rend d'abord sur ce fichier. Il s'agit d'une étape préliminaire pour comprendre quelles sections du site sont accessibles et lesquelles doivent être ignorées.

Comment fonctionne le robots.txt ?

Le “User-agent”

Le "User-agent", aussi appelé “bot”, “robot”, “spider” ou encore “crawler” se réfère au robot d'un moteur de recherche chargé d’explorer votre site web pour, entre autre, le référencer. C’est à ce robot que s'adressent les règles énoncées dans le fichier robots.txt.

Chaque moteur de recherche a son propre robot (par exemple, "Googlebot" pour Google et "Bingbot" pour Bing). Dans votre fichier robots.txt, vous pouvez définir des règles pour un robot spécifique (par exemple en mentionnant “User-agent: Googlebot” pour ne s’adresser qu’au robot de Google) ou utiliser le terme "User-agent: *" pour cibler tous les robots.

Les règles "Disallow" et "Allow"

Ces directives déterminent les chemins d'accès que les robots sont autorisés ou non à explorer.

• Disallow : Permet d'indiquer aux robots les pages ou répertoires qu'ils ne doivent pas explorer. Par exemple, "Disallow: /privé/" indique aux robots de ne pas explorer le répertoire "privé".
• Allow : C'est l'opposé de "Disallow". Elle est principalement utilisée pour permettre l'accès à certaines sous-sections d'un répertoire qui pourrait être interdit. Par exemple, si vous interdisez l'accès à un répertoire entier mais souhaitez permettre l'exploration d'une sous-page spécifique, vous pouvez utiliser "Allow".

Exemple simple pour illustrer le fonctionnement du fichier robots.txt

Imaginez un site web qui contient un répertoire de données personnelles qu'il ne souhaite pas rendre accessible aux moteurs de recherche, mais souhaite rendre une seule page de ce répertoire accessible.

Le fichier robots.txt pourrait ressembler à ceci :

User-agent: *
Disallow: /donnees-personnelles/
Allow: /donnees-personnelles/page-autorisee.html

Dans cet exemple, tous les robots (User-agent: *) sont informés de ne pas explorer le répertoire "donnees-personnelles". Cependant, une exception est faite pour "page-autorisee.html", qui est autorisée à être explorée.

Pourquoi est-il important pour le SEO ?

Éviter l'indexation de contenus non pertinents ou sensibles

Votre site contient sans doute des sections qui n'ont aucun intérêt pour les moteurs : espace d'administration, panier, résultats de la recherche interne, pages de tri et de filtres, scripts internes. Le robots.txt permet d'en interdire l'exploration. Attention à ce qu'il ne fait pas : il n'empêche pas l'indexation d'une URL que Google découvre par des liens (elle peut apparaître sans description), et il ne protège rien, puisqu'il est public. Pour retirer une page des résultats, on utilise la balise noindex sur une page explorable ; pour protéger un contenu, un mot de passe.

Amélioration de l'efficacité du crawl des moteurs de recherche

Les moteurs de recherche disposent d'un "budget de crawl", c'est-à-dire une quantité limitée de ressources attribuée à l'exploration de chaque site. En utilisant le fichier robots.txt pour guider les robots sur les sections importantes de votre site et en écartant les zones non essentielles (comme les interfaces administrateur), vous garantissez une utilisation optimale de ce budget. Cela assure que les parties cruciales de votre site sont explorées régulièrement, améliorant ainsi la visibilité et la pertinence des résultats.

Prévention du contenu dupliqué

Le contenu dupliqué peut être préjudiciable pour le SEO. Si les moteurs de recherche détectent des pages similaires ou identiques sur votre site, cela peut diluer la pertinence de votre contenu et affecter négativement votre classement dans les résultats de recherche. Avec le fichier robots.txt, vous pouvez empêcher les robots d'explorer les versions dupliquées de votre contenu, garantissant ainsi que seul le contenu original et pertinent est pris en compte pour le référencement.

Comment créer et où placer le fichier robots.txt ?

Création du fichier robots.txt : Guide étape par étape

1. Ouvrir un éditeur de texte : Lancez un éditeur de texte simple comme Bloc-notes (pour Windows) ou TextEdit (pour Mac). Évitez les éditeurs de traitement de texte comme Word, car ils peuvent ajouter des formats non désirés. Vous pouvez également utiliser un éditeur de code dédié comme Sublime Text ou Visual Studio Code.
2. Précisez le User-agent : Commencez par indiquer à quel robot de recherche les directives s'adressent. Par exemple, pour tous les robots, écrivez : User-agent: *
3. Définissez vos directives : Ajoutez ensuite les directives "Disallow" pour spécifier les parties du site que vous souhaitez interdire aux robots. Exemple : Disallow: /administrator/
4. Autorisez des exceptions si nécessaire : ajoutez la directive "Allow" pour autoriser certains contenus malgré une règle "Disallow".

Par exemple : Allow: /dossier-prive/page-autorisee.html

5. Enregistrez votre fichier : Une fois vos directives définies, sauvegardez le fichier sous le nom "robots.txt".

Placement du fichier robots.txt sur un serveur

• Positionnement à la racine : Le fichier robots.txt doit être placé à la racine de votre site web. Il ne doit pas se trouver dans un sous-dossier.
• Transfert du fichier : Utilisez un client FTP ou l'interface de gestion de fichiers de votre hébergeur pour transférer le fichier robots.txt à la racine de votre domaine.
• Vérification de l'accessibilité : Après avoir mis le fichier en ligne, vérifiez qu'il est accessible en visitant https://votredomaine.com/robots.txt depuis votre navigateur. Vous devriez voir les directives que vous avez écrites.
• Respect de la casse : Assurez-vous que le nom "robots.txt" est toujours écrit en minuscules pour être reconnu par les moteurs de recherche.

Erreurs courantes et comment les éviter

1. Utilisation de majuscules : Nommer le fichier autrement que "robots.txt". Par exemple, "Robots.TXT" ou "ROBOTS.TXT".
2. Utilisation d'espaces superflus : Ajouter des espaces inutiles dans les directives peut rendre les instructions incompréhensibles pour les robots. Il est donc indispensable de respecter la syntaxe appropriée.
3. Ne pas spécifier de User-agent : Omettre la directive "User-agent", rendant ainsi les règles inapplicables. Même si vous ciblez tous les robots, ajoutez toujours la directive "User-agent: *".
4. Directives contradictoires : Par exemple, autoriser et interdire la même URL dans le même fichier. Après avoir écrit vos règles, relisez-les pour vous assurer qu'elles ne se contredisent pas.
5. Placement incorrect : Mettre le fichier robots.txt dans un sous-dossier plutôt qu'à la racine du site. Utilisez un client FTP ou l'interface de votre hébergeur pour vous assurer que le fichier est à la racine de votre domaine.
6. Faire confiance uniquement au fichier robots.txt pour la confidentialité : Compter sur le fichier robots.txt pour empêcher l'accès à des informations sensibles. Ne comptez pas uniquement sur robots.txt pour la sécurité : Si vous avez des informations sensibles, protégez-les par d'autres moyens, comme un mot de passe ou des configurations serveur spécifiques.

Un dernier conseil : vérifiez et testez votre fichier robots.txt

Voici quelques outils qui vous permettront de tester votre fichier robots.txt : 

Outil de test robots.txt de Google

L'ancien testeur de robots.txt de Google a été retiré fin 2023. Il est remplacé par le rapport « robots.txt » de la Search Console (Paramètres), qui montre les versions du fichier lues par Google sur les 30 derniers jours, la date de dernière exploration et les erreurs d'analyse, et par l'outil d'inspection d'URL, qui indique pour une page donnée si elle est bloquée par le robots.txt. Google publie aussi en open source la bibliothèque d'analyse utilisée par Googlebot (robotstxt sur GitHub), avec laquelle on peut tester des règles hors ligne.

Robots.txt Checker

C'est un outil en ligne gratuit qui analyse votre fichier robots.txt pour s'assurer qu'il est correctement formaté et ne contient pas d'erreurs syntaxiques.

Vérification des logs serveur

Les logs serveur peuvent vous indiquer quels robots ont accédé à votre site et à quelles pages. Si un robot accède à une page que vous pensiez avoir bloquée, c'est peut-être un signe que votre fichier robots.txt a une erreur.

Utiliser d'autres outils SEO

Il existe de nombreux outils SEO qui peuvent scanner votre site web et vous informer si votre fichier robots.txt pose des problèmes potentiels. Certains de ces outils incluent SEMrush, Ahrefs, et Screaming Frog.

Les directives et la syntaxe en détail

• User-agent : le robot visé ; * pour tous. Un groupe de règles commence par une ou plusieurs lignes User-agent. Googlebot applique le groupe le plus spécifique qui le concerne, et seulement celui-là.
• Disallow : le chemin interdit, relatif à la racine. Disallow: / bloque tout le site ; Disallow: vide n'interdit rien.
• Allow : une exception à un Disallow ; en cas de conflit, la règle la plus longue (la plus spécifique) l'emporte.
• Jokers : * remplace n'importe quelle suite de caractères, $ marque la fin de l'URL. Disallow: /*?tri= bloque les URL contenant ce paramètre, Disallow: /*.pdf$ bloque les PDF.
• Sitemap : l'URL complète d'un sitemap, indépendante des groupes, répétable.
• Crawl-delay : ignoré par Google (la vitesse se règle dans la Search Console), respecté par Bing et Yandex.
• Le fichier doit répondre en 200 ; une réponse 404 est interprétée comme « tout autorisé », une erreur 5xx persistante comme « tout interdit » après quelques essais. Sa taille maximale prise en compte par Google est de 500 Ko.

Robots.txt et robots d'IA

Depuis 2023, les éditeurs de modèles d'IA déclarent des robots que l'on peut cibler dans le robots.txt : GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, pour l'entraînement de Gemini uniquement), PerplexityBot, CCBot (Common Crawl), Applebot-Extended, Meta-ExternalAgent. Les bloquer n'a aucun effet sur le référencement classique ni sur les aperçus IA de Google, qui dépendent de Googlebot ; c'est un choix éditorial entre protéger ses contenus et être présent dans les réponses des assistants. Les grands médias bloquent souvent l'entraînement tout en autorisant la recherche (OAI-SearchBot chez OpenAI), une distinction que tous les éditeurs d'IA ne proposent pas. Le respect du robots.txt par ces robots repose sur leur bonne volonté ; les CDN offrent des blocages plus contraignants.

Pour aller plus loin

• Le fichier robots.txt : comment bien l'optimiser pour son référencement ? (guide Abondance)
• Fichier robots.txt : erreurs fréquentes et astuces (2022)
• Google va explorer des alternatives au fichier robots.txt (2023)
• Google publie la liste d'adresses IP de ses robots Googlebot (2021)

FAQ

Faut-il un robots.txt sur tous les sites ?

Ce n'est pas obligatoire : sans fichier, tout est autorisé. Mais un fichier minimal (User-agent: * sans Disallow, plus la ligne Sitemap) évite les erreurs 404 dans les logs et signale les sitemaps. Sur un site à facettes ou avec des zones sans valeur, il devient un vrai outil de gestion du crawl.

Bloquer une page dans le robots.txt la retire-t-elle de Google ?

Non. Le blocage empêche l'exploration, pas l'indexation : si l'URL est liée ailleurs, Google peut l'afficher sans description. Pour la retirer, il faut la laisser explorable avec une balise noindex, ou utiliser l'outil de suppression de la Search Console pour une action rapide. Bloquer une page déjà en noindex empêche Google de lire la balise.

Peut-on bloquer les fichiers CSS et JavaScript ?

Non, c'est une erreur classique héritée des années 2000. Google rend les pages comme un navigateur et a besoin de ces ressources pour comprendre la mise en page et la compatibilité mobile. Un site qui les bloque est évalué sur une version dégradée.

Comment vérifier que Google lit bien mon robots.txt ?

Dans la Search Console, le rapport robots.txt (Paramètres) affiche le contenu lu par Google, sa date d'exploration et les erreurs. L'outil d'inspection d'URL confirme, page par page, si le blocage s'applique. Les logs du serveur montrent enfin les requêtes de Googlebot sur /robots.txt, qu'il consulte plusieurs fois par jour.

En résumé

• Robots.txt : le fichier à la racine du site qui indique aux robots ce qu'ils peuvent explorer.
• Directives : User-agent, Disallow, Allow, Sitemap, avec les jokers * et $ ; Crawl-delay ignoré par Google.
• Portée : l'exploration, pas l'indexation ni la sécurité ; noindex et mot de passe pour le reste.
• Erreurs : bloquer CSS et JS, bloquer un site en production, compter sur le fichier pour la confidentialité, syntaxe et casse.
• Contrôle : rapport robots.txt et inspection d'URL de la Search Console, logs, bibliothèque open source de Google.
• Depuis 2023 : le levier pour autoriser ou refuser les robots d'IA.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !