Qu'est-ce qu'un fichier robots.txt ?
Le fichier robots.txt est un document placé à la racine d'un site web. Sa principale fonction est de communiquer aux robots d'exploration des moteurs de recherche (appelés "crawlers" ou "bots") quelles parties d'un site ils peuvent ou ne peuvent pas crawler (explorer de liens en liens).
Lorsqu'un robot d'un moteur de recherche arrive sur un site, il se rend d'abord sur ce fichier. Il s'agit d'une étape préliminaire pour comprendre quelles sections du site sont accessibles et lesquelles doivent être ignorées.
Comment fonctionne le robots.txt ?
Le “User-agent”
Le "User-agent", aussi appelé “bot”, “robot”, “spider” ou encore “crawler” se réfère au robot d'un moteur de recherche chargé d’explorer votre site web pour, entre autre, le référencer. C’est à ce robot que s'adressent les règles énoncées dans le fichier robots.txt.
Chaque moteur de recherche a son propre robot (par exemple, "Googlebot" pour Google et "Bingbot" pour Bing). Dans votre fichier robots.txt, vous pouvez définir des règles pour un robot spécifique (par exemple en mentionnant “User-agent: Googlebot” pour ne s’adresser qu’au robot de Google) ou utiliser le terme "User-agent: *" pour cibler tous les robots.
Les règles "Disallow" et "Allow"
Ces directives déterminent les chemins d'accès que les robots sont autorisés ou non à explorer.
- Disallow : Permet d'indiquer aux robots les pages ou répertoires qu'ils ne doivent pas explorer. Par exemple, "Disallow: /privé/" indique aux robots de ne pas explorer le répertoire "privé".
- Allow : C'est l'opposé de "Disallow". Elle est principalement utilisée pour permettre l'accès à certaines sous-sections d'un répertoire qui pourrait être interdit. Par exemple, si vous interdisez l'accès à un répertoire entier mais souhaitez permettre l'exploration d'une sous-page spécifique, vous pouvez utiliser "Allow".
Exemple simple pour illustrer le fonctionnement du fichier robots.txt
Imaginez un site web qui contient un répertoire de données personnelles qu'il ne souhaite pas rendre accessible aux moteurs de recherche, mais souhaite rendre une seule page de ce répertoire accessible.
Le fichier robots.txt pourrait ressembler à ceci :
User-agent: *
Disallow: /donnees-personnelles/
Allow: /donnees-personnelles/page-autorisee.html
Dans cet exemple, tous les robots (User-agent: *) sont informés de ne pas explorer le répertoire "donnees-personnelles". Cependant, une exception est faite pour "page-autorisee.html", qui est autorisée à être explorée.
Pourquoi est-il important pour le SEO ?
Éviter l'indexation de contenus non pertinents ou sensibles
Il est possible que votre site contienne des pages ou des informations que vous ne souhaitez pas rendre visibles ou accessibles aux utilisateurs des moteurs de recherche. Cela peut être dû à la confidentialité des informations ou simplement parce qu'elles n'apportent pas de valeur ajoutée en termes de référencement. Grâce au fichier robots.txt, vous pouvez indiquer aux robots des moteurs de recherche de ne pas explorer ces sections spécifiques (et donc d'en limiter l'indexation).
Amélioration de l'efficacité du crawl des moteurs de recherche
Les moteurs de recherche disposent d'un "budget de crawl", c'est-à-dire une quantité limitée de ressources attribuée à l'exploration de chaque site. En utilisant le fichier robots.txt pour guider les robots sur les sections importantes de votre site et en écartant les zones non essentielles (comme les interfaces administrateur), vous garantissez une utilisation optimale de ce budget. Cela assure que les parties cruciales de votre site sont explorées régulièrement, améliorant ainsi la visibilité et la pertinence des résultats.
Prévention du contenu dupliqué
Le contenu dupliqué peut être préjudiciable pour le SEO. Si les moteurs de recherche détectent des pages similaires ou identiques sur votre site, cela peut diluer la pertinence de votre contenu et affecter négativement votre classement dans les résultats de recherche. Avec le fichier robots.txt, vous pouvez empêcher les robots d'explorer les versions dupliquées de votre contenu, garantissant ainsi que seul le contenu original et pertinent est pris en compte pour le référencement.
Comment créer et où placer le fichier robots.txt ?
Création du fichier robots.txt : Guide étape par étape
- Ouvrir un éditeur de texte : Lancez un éditeur de texte simple comme Bloc-notes (pour Windows) ou TextEdit (pour Mac). Évitez les éditeurs de traitement de texte comme Word, car ils peuvent ajouter des formats non désirés. Vous pouvez également utiliser un éditeur de code dédié comme Sublime Text ou Visual Studio Code.
- Précisez le User-agent : Commencez par indiquer à quel robot de recherche les directives s'adressent. Par exemple, pour tous les robots, écrivez : User-agent: *
- Définissez vos directives : Ajoutez ensuite les directives "Disallow" pour spécifier les parties du site que vous souhaitez interdire aux robots. Exemple : Disallow: /administrator/
- Autorisez des exceptions si nécessaire : ajoutez la directive "Allow" pour autoriser certains contenus malgré une règle "Disallow".
Par exemple : Allow: /dossier-prive/page-autorisee.html
5. Enregistrez votre fichier : Une fois vos directives définies, sauvegardez le fichier sous le nom "robots.txt".
Placement du fichier robots.txt sur un serveur
- Positionnement à la racine : Le fichier robots.txt doit être placé à la racine de votre site web. Il ne doit pas se trouver dans un sous-dossier.
- Transfert du fichier : Utilisez un client FTP ou l'interface de gestion de fichiers de votre hébergeur pour transférer le fichier robots.txt à la racine de votre domaine.
- Vérification de l'accessibilité : Après avoir mis le fichier en ligne, vérifiez qu'il est accessible en visitant https://votredomaine.com/robots.txt depuis votre navigateur. Vous devriez voir les directives que vous avez écrites.
- Respect de la casse : Assurez-vous que le nom "robots.txt" est toujours écrit en minuscules pour être reconnu par les moteurs de recherche.
Erreurs courantes et comment les éviter
- Utilisation de majuscules : Nommer le fichier autrement que "robots.txt". Par exemple, "Robots.TXT" ou "ROBOTS.TXT".
- Utilisation d'espaces superflus : Ajouter des espaces inutiles dans les directives peut rendre les instructions incompréhensibles pour les robots. Il est donc indispensable de respecter la syntaxe appropriée.
- Ne pas spécifier de User-agent : Omettre la directive "User-agent", rendant ainsi les règles inapplicables. Même si vous ciblez tous les robots, ajoutez toujours la directive "User-agent: *".
- Directives contradictoires : Par exemple, autoriser et interdire la même URL dans le même fichier. Après avoir écrit vos règles, relisez-les pour vous assurer qu'elles ne se contredisent pas.
- Placement incorrect : Mettre le fichier robots.txt dans un sous-dossier plutôt qu'à la racine du site. Utilisez un client FTP ou l'interface de votre hébergeur pour vous assurer que le fichier est à la racine de votre domaine.
- Faire confiance uniquement au fichier robots.txt pour la confidentialité : Compter sur le fichier robots.txt pour empêcher l'accès à des informations sensibles. Ne comptez pas uniquement sur robots.txt pour la sécurité : Si vous avez des informations sensibles, protégez-les par d'autres moyens, comme un mot de passe ou des configurations serveur spécifiques.
Un dernier conseil : vérifiez et testez votre fichier robots.txt
Voici quelques outils qui vous permettront de tester votre fichier robots.txt :
Outil de test robots.txt de Google
Google propose un outil dédié pour tester votre fichier robots.txt. Il est accessible via la Google Search Console. Cet outil vous permet de :
- Vérifier si votre fichier est bien détecté.
- Tester des URL spécifiques pour voir si elles sont autorisées ou bloquées.
- Identifier les éventuelles erreurs ou avertissements liés à votre fichier.
Robots.txt Checker
C'est un outil en ligne gratuit qui analyse votre fichier robots.txt pour s'assurer qu'il est correctement formaté et ne contient pas d'erreurs syntaxiques.
Vérification des logs serveur
Les logs serveur peuvent vous indiquer quels robots ont accédé à votre site et à quelles pages. Si un robot accède à une page que vous pensiez avoir bloquée, c'est peut-être un signe que votre fichier robots.txt a une erreur.
Utiliser d'autres outils SEO
Il existe de nombreux outils SEO qui peuvent scanner votre site web et vous informer si votre fichier robots.txt pose des problèmes potentiels. Certains de ces outils incluent SEMrush, Ahrefs, et Screaming Frog.
FAQ Robots.txt
-
Quel est le lien entre le sitemap du site et le fichier robots.txt ?
Le fichier robots.txt offre une méthode pour les webmasters d'indiquer aux robots des moteurs de recherche où se trouve le sitemap du site. Cela facilite la découverte et l'exploration des pages de votre site par les moteurs de recherche. En incluant l'URL du sitemap dans le fichier robots.txt, vous guidez les moteurs de recherche vers une carte de votre site, ce qui peut aider à un crawl plus efficace et complet.
-
Si je bloque une page via le fichier robots.txt, est-ce que cette page est complètement exclue des résultats de recherche des moteurs ?
Non, bloquer une page via le fichier robots.txt empêche les robots des moteurs de recherche de crawler cette page, mais cela n'interdit pas son indexation. Si d'autres sites référencent cette page, elle peut toujours apparaître dans les résultats de recherche, éventuellement avec un message spécifique indiquant que le contenu n'a pas été exploré. Pour empêcher une page d'apparaître dans les résultats de recherche, il est recommandé d'utiliser d'autres méthodes, telles que la protection par mot de passe, la balise noindex, ou encore de supprimer complètement la page.
-
Est-ce que les règles définies dans le fichier robots.txt sont universelles pour tous les moteurs de recherche ?
Non, toutes les règles du fichier robots.txt ne sont pas forcément respectées ou interprétées de la même manière par tous les moteurs de recherche. Bien que de nombreux moteurs de recherche, comme Google ou Bing, respectent les standards courants, il peut y avoir des variations ou des différences d'interprétation entre eux. Il est donc essentiel de se familiariser avec les spécifications de chaque moteur de recherche et de tester régulièrement le comportement de votre fichier robots.txt.
On parle aussi de Robots.txt ici :
- Google va explorer des alternatives au fichier robots.txt (2023)
- Google met à jour sa documentation sur les robots d’exploration (2023)
- Fichier robots.txt : erreurs fréquentes et astuces (2022)
- Google publie la liste d’adresses IP de ses robots Googlebot (2021)
