Balise meta robots

La balise meta robots est une balise HTML placée dans le head d'une page pour donner des consignes aux robots des moteurs de recherche : indexer ou non la page (index / noindex), suivre ou non ses liens (follow / nofollow), et contrôler l'affichage des extraits dans les résultats. Elle agit page par page, là où le robots.txt agit sur l'exploration de tout le site.

Qu'est-ce que la balise meta robots ?

La balise meta robots est une balise HTML qui s'insère dans la partie <head> du code source d'une page web. Elle permet de spécifier aux robots des moteurs de recherche comment ils doivent traiter cette page. Par exemple, elle indique si la page doit être indexée, si les liens présents doivent être suivis, ou si le contenu doit être affiché dans les résultats de recherche.

Importance de la balise dans le SEO

La balise meta robots est essentielle pour le référencement naturel. En utilisant cette balise, les webmasters peuvent contrôler le comportement des robots d'indexation sur leur site. Cela leur permet de sécuriser des informations confidentielles, de bloquer les robots de spam, d'empêcher l'accès à des pages non finalisées, ou d'éviter le contenu dupliqué.

Différences entre la balise meta robots et le fichier robots.txt

Il est important de comprendre la différence entre la balise meta robots et le fichier robots.txt. Alors que la balise meta robots s'applique à une page spécifique, le fichier robots.txt peut s'appliquer à l'échelle du site. Le fichier robots.txt permet aux webmasters de spécifier quelles pages ou sections du site peuvent être explorées par les robots des moteurs de recherche (comme Google et Bing). Les balises meta robots et les fichiers robots.txt peuvent ainsi ne pas agir au même niveau : vous pouvez utiliser les deux pour bien organiser votre site Internet et notamment son référencement, en indiquant clairement aux robots ce qu'ils peuvent indexer ou non et les liens qui peuvent être suivis ou non.

Bien utiliser la balise meta robots

La balise meta robots propose plusieurs directives principales pour contrôler l'indexation et le suivi des liens. La directive "noindex" indique aux robots de ne pas indexer la page, tandis que la directive "nofollow" spécifie que les liens présents sur la page ne doivent pas être suivis.

Il est également possible d'utiliser d'autres directives supplémentaires pour un contrôle plus avancé. Par exemple, "nosnippet" interdit tout extrait de la page dans les résultats, "max-snippet" en limite la longueur, "max-image-preview" fixe la taille des aperçus d'image, "notranslate" empêche la proposition de traduction automatique et "unavailable_after" programme la fin de l'indexation à une date donnée. La directive "noarchive", qui bloquait le lien vers la version en cache, n'a plus d'objet depuis que Google a supprimé son cache en 2024.

Directive X-Robots-Tag : une alternative puissante

La directive X-Robots-Tag est une alternative à la balise meta robots. Cette directive est appliquée directement dans l'en-tête HTTP des pages. Elle offre des fonctionnalités similaires à la balise meta robots et peut être utilisée pour les fichiers non-HTML, tels que les PDF, Word, Excel, ainsi que pour des directives à l'échelle du site.

Les meilleures pratiques avec la balise meta robots

Pour bien maîtriser les balises meta robots, il est important de savoir quand et comment utiliser les différentes directives. Par exemple, il peut être judicieux d'utiliser la directive "noindex" pour des pages sensibles ou confidentielles, ou encore d'employer la directive "nofollow" pour les liens qui ne sont pas pertinents pour le référencement.

Il est également recommandé d'optimiser l'exploration et l'indexation en utilisant les directives appropriées. Attention à une idée reçue : mettre les pages paginées en "noindex, follow" est déconseillé par Google, car une page en noindex durablement finit par ne plus être explorée et ses liens ne transmettent plus rien. Le noindex se réserve aux pages qui n'ont aucune raison d'apparaître dans les résultats : résultats de recherche interne, pages de remerciement, versions de test, filtres sans valeur.

La balise meta robots est un élément clé du référencement naturel. Elle permet de contrôler l'activité des robots des moteurs de recherche sur un site internet. En utilisant les directives appropriées, les webmasters peuvent optimiser l'exploration et l'indexation de leurs pages, contribuant ainsi à l'amélioration de leur visibilité dans les résultats de recherche.

FAQ

Quelle est la différence entre noindex et Disallow dans le robots.txt ?

Le noindex retire la page des résultats mais laisse Google l'explorer ; le Disallow interdit l'exploration mais n'empêche pas l'indexation de l'URL si des liens pointent vers elle. Pour désindexer, il faut un noindex sur une page explorable, donc jamais bloquée en robots.txt.

Que se passe-t-il si la balise meta robots est absente ?

Les moteurs appliquent la valeur par défaut, "index, follow" : la page peut être indexée et ses liens suivis. Écrire explicitement "index, follow" ne change rien.

Le nofollow de la meta robots est-il encore respecté ?

Depuis 2020, Google traite le nofollow comme une indication et non comme une consigne absolue. Il reste utile pour signaler des liens non éditoriaux, mais il ne sert plus à sculpter la circulation du PageRank.

Quand préférer le X-Robots-Tag à la balise meta robots ?

Pour les fichiers qui n'ont pas de code HTML (PDF, images, documents) et pour appliquer une règle à toute une section du site depuis la configuration du serveur, sans toucher aux pages.

Comment vérifier les directives que Google voit sur une page ?

Avec l'outil d'inspection d'URL de la Google Search Console, qui affiche si la page est indexable, et sinon quelle directive l'en empêche.

En résumé

• Meta robots : les consignes d'indexation et de suivi des liens, page par page, dans le head.
• Directives clés : noindex, nofollow, nosnippet, max-snippet, max-image-preview, unavailable_after.
• Différent du robots.txt : la meta robots pilote l'indexation, le robots.txt l'exploration.
• Un noindex doit rester explorable : une page bloquée en robots.txt ne peut pas lire sa balise.
• X-Robots-Tag : la même chose dans l'en-tête HTTP, pour les fichiers non HTML et les règles globales.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !