Allow : l'instruction du fichier robots.txt

Allow est une instruction du fichier robots.txt qui autorise les robots d'exploration à accéder à une URL ou à un répertoire, y compris à l'intérieur d'une zone bloquée par Disallow. Elle sert à ouvrir une exception précise sans lever l'interdiction générale.

Définition de Allow

L'instruction Allow: est utilisée dans le domaine du SEO pour indiquer aux robots d'indexation qu'ils sont autorisés à explorer certaines parties spécifiques d'un site. Elle est souvent utilisée en conjonction avec l'instruction "Disallow", qui indique aux robots les parties qu'ils ne doivent pas explorer. À retenir : le fichier robots.txt pilote l'exploration (le crawl), pas l'indexation. Une URL bloquée peut rester indexée si d'autres pages pointent vers elle ; pour empêcher l'indexation, il faut une balise meta robots noindex sur une page explorable.

L'objectif principal de l'instruction Allow est de fournir des indications claires aux robots d'indexation sur les zones du site qui peuvent être explorées et indexées. Cela permet aux propriétaires de sites de mieux contrôler la visibilité de leur contenu sur les moteurs de recherche.

Où est utilisée l’instruction Allow ?

L'instruction "Allow" est généralement utilisée dans le fichier robots.txt, qui est un fichier texte placé à la racine du site pour communiquer avec les robots d'indexation. Dans ce fichier, les propriétaires de sites peuvent spécifier les règles d'accès des robots à certaines parties du site.

La syntaxe de l'instruction "Allow" est simple. Elle est suivie d'un chemin relatif ou absolu indiquant l'emplacement du fichier, du répertoire ou de la section du site que l'on souhaite autoriser à l'indexation. Par exemple, si vous souhaitez autoriser l'indexation de tous les fichiers contenus dans le répertoire "images", vous pouvez utiliser l'instruction "Allow: /images/".

Exemple de syntaxe de la directive Allow

Voilà à quoi ressemble exactement la syntaxe de l’instruction Allow : 

User-agent: { nom du robot d'exploration ciblé }
Allow: { l'URL ou le dossier à crawler }

Imaginons que vous voulez interdire l’ensemble de votre site au crawl, sauf vos offres. Vous écrirez : 

User-agent: Googlebot

Disallow: / 

Allow: /offres

Les bonnes pratiques pour utiliser l'instruction "Allow"

Pour optimiser l'efficacité de l'instruction "Allow" et éviter les erreurs potentielles, il est essentiel de respecter certaines pratiques :

• Utilisez l'instruction "Allow" de manière sélective : Soyez précis dans les zones que vous autorisez à l'indexation pour éviter de donner des permissions non intentionnelles.
• Comprenez la règle de priorité : pour Google, ce n'est pas l'ordre d'écriture qui compte mais la longueur du chemin. Entre un Disallow et un Allow qui correspondent tous deux à une URL, la règle la plus spécifique (la plus longue) l'emporte ; à longueur égale, Allow gagne.
• Faites preuve de prudence lors de la modification du fichier robots.txt : Une erreur de syntaxe dans ce fichier peut avoir un impact significatif sur l'indexation de votre site. Veillez à toujours sauvegarder le fichier d'origine et à tester les modifications de manière progressive.

On parle aussi d'Allow ici :

- Vidéo SEO : Directive et indication, quelle différence ?

FAQ

À quoi sert l'instruction Allow dans un robots.txt ?

À rouvrir l'accès à une URL ou à un dossier précis à l'intérieur d'une zone interdite par Disallow. Sans Disallow, Allow ne sert à rien : tout ce qui n'est pas interdit est autorisé par défaut.

Allow ou Disallow : laquelle l'emporte quand les deux s'appliquent ?

Chez Google, la règle dont le chemin est le plus long (le plus spécifique) l'emporte. À longueur égale, Allow prend le dessus. L'ordre des lignes dans le fichier n'a pas d'importance.

Allow suffit-il pour qu'une page soit indexée ?

Non. Allow autorise l'exploration, rien de plus. L'indexation dépend ensuite de la balise meta robots, des canonicals, de la qualité de la page et des liens qui pointent vers elle.

Tous les moteurs comprennent-ils Allow ?

Google, Bing et la plupart des moteurs majeurs la prennent en charge, mais elle ne fait pas partie du standard robots.txt d'origine. Certains robots plus anciens ou plus simples l'ignorent : ne l'utilisez jamais comme seule protection.

Comment tester une règle Allow ?

Avec le rapport robots.txt de la Google Search Console, qui affiche le fichier tel que Google le lit, ou avec l'outil d'inspection d'URL, qui indique si une page donnée est bloquée à l'exploration.

En résumé

• Allow ouvre une exception à l'intérieur d'une zone bloquée par Disallow dans le robots.txt.
• Crawl, pas indexation : le robots.txt pilote l'exploration ; pour désindexer, il faut un noindex.
• Priorité à la règle la plus longue chez Google, Allow gagnant à longueur égale.
• Syntaxe : User-agent, puis Disallow et Allow suivis d'un chemin.
• Tester avant de publier : une erreur dans le robots.txt peut couper l'exploration de tout un site.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !