User-Agent

Le user-agent est la chaîne de caractères par laquelle un navigateur ou un robot se présente au serveur à chaque requête HTTP : type de logiciel, version, système. C'est par lui qu'un site reconnaît Googlebot, Bingbot ou les robots des IA, que le robots.txt cible ses règles, et que les logs révèlent qui explore le site. Il se falsifie facilement, d'où la nécessité de vérifier l'adresse IP pour authentifier un robot.

Qu'est-ce qu'un User-Agent ?

Un User-Agent est une chaîne de caractères envoyée par le navigateur web à un serveur pour indiquer le type de navigateur et de système d'exploitation utilisé par l'utilisateur.

Il facilite l'affichage correct du contenu et joue un rôle crucial dans le processus de communication entre les navigateurs et les serveurs.

Par exemple, voici la chaîne user-agent complète pour Googlebot pour smartphone :

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html), où W.X.Y.Z est remplacé par la version de Chrome utilisée par Googlebot, mise à jour régulièrement

Importance des User-Agents en SEO

Les User-Agents aident les spécialistes du SEO à mieux comprendre le comportement des visiteurs, à optimiser le référencement naturel et à adapter le contenu ainsi que les publicités.

Ils permettent également d'empêcher certains robots d'accéder à certaines parties d'un site web.

Rôles et fonctions des User-Agents

Détection de navigateur

L'User-Agent permet de détecter le type de navigateur et de système d'exploitation utilisés par l'utilisateur, afin de fournir une expérience adaptée.

Compatibilité et adaptabilité

Il détermine si le site web est compatible avec le navigateur et le système d'exploitation de l'utilisateur, pour assurer une expérience optimale et sans erreurs.

Contrôle d’accès et gestion des téléchargements

L'User-Agent peut être utilisé pour autoriser ou refuser l'accès à un site web en fonction du navigateur et du système d'exploitation. Il permet également de rediriger les téléchargements de logiciels vers les versions appropriées.

User-Agents et outils de Google

Googlebot et autres crawlers

Google utilise des robots d'exploration, comme Googlebot, pour analyser les sites web et les indexer dans les résultats de recherche. Mais Google dispose d'autres crawlers spécifiques, tout comme d'autres moteurs de recherche : DuckDuckbot pour DuckDuckGo, Bingbot pour Bing, YandexBot pour Yandex, etc.

Identification et personnalisation

Les serveurs web utilisent les User-Agents pour identifier les robots d'exploration de Google et personnaliser le contenu affiché en fonction des préférences de l'utilisateur.

Impact des User-Agents sur le SEO

Optimisation et personnalisation du contenu

Grâce aux User-Agents, les SEO peuvent mieux comprendre les besoins des utilisateurs et adapter le contenu en conséquence pour améliorer leur expérience.

Collecte d'informations et analyse des visiteurs

Les User-Agents fournissent des informations précieuses sur les visiteurs, facilitant l'analyse de leur comportement et l'optimisation du référencement naturel.

Modification et masquage des User-Agents

Changement de l’User-Agent

Il est possible de modifier l'User-Agent envoyé par le navigateur pour accéder à des pages web spécifiques ou masquer son identité en ligne.

Considérations de confidentialité et sécurité

Le masquage de l'User-Agent peut présenter des avantages en termes de confidentialité et de sécurité, mais il est important de tenir compte des implications potentielles en termes d'expérience utilisateur et de compatibilité avec les sites web.

On parle de User-Agent ici :

- Bingbot va changer à 100% son user-agent à partir de janvier 2023 (2022)

- Googlebot va changer son User Agent (2019)

Les user-agents des robots à connaître en 2026

Google publie la liste de ses robots avec leurs jetons pour le robots.txt : Googlebot (smartphone et desktop), Googlebot-Image, Googlebot-Video, Googlebot-News, Storebot-Google, Google-InspectionTool, AdsBot-Google, et Google-Extended pour l'entraînement des modèles Gemini. Bing utilise Bingbot et AdIdxBot ; Apple, Applebot et Applebot-Extended. Les éditeurs d'IA se déclarent aussi : GPTBot et ChatGPT-User (OpenAI), ClaudeBot (Anthropic), PerplexityBot, Meta-ExternalAgent, Bytespider (ByteDance). Un user-agent peut être usurpé par un scraper : l'authentification d'un robot passe par la vérification de son adresse IP (DNS inversé ou plages publiées).

FAQ

Comment bloquer un robot par son user-agent ?

Dans le robots.txt, avec une règle User-agent: suivie de Disallow: / pour les robots qui respectent le protocole (moteurs, IA déclarées). Pour ceux qui l'ignorent, il faut filtrer côté serveur ou pare-feu, sur le user-agent et surtout sur l'adresse IP.

Servir un contenu différent selon le user-agent est-il du cloaking ?

Oui si un robot de moteur reçoit une version différente de celle des internautes. Adapter l'affichage au navigateur ou à l'appareil de l'utilisateur est normal ; reconnaître Googlebot pour lui servir une page dédiée relève des règles anti-spam de Google.

Pourquoi les user-agents commencent-ils tous par Mozilla/5.0 ?

Par héritage : dans les années 1990, les sites servaient leurs meilleures pages aux navigateurs Mozilla (Netscape), et les concurrents se sont mis à s'en réclamer pour ne pas être bridés. Le préfixe est resté, vidé de sens, jusque dans les robots.

Comment voir quels user-agents visitent mon site ?

Dans les logs du serveur, où chaque requête enregistre le user-agent, ou dans les outils d'analyse de logs qui les regroupent par robot. Les outils d'analyse d'audience comme GA4 filtrent la plupart des robots et ne les montrent pas.

En résumé

• User-agent : la chaîne par laquelle un navigateur ou un robot se présente au serveur.
• Usages : cibler les règles du robots.txt, adapter l'affichage, identifier les robots dans les logs.
• Facile à usurper : authentifier un robot par son adresse IP, pas par son nom.
• Robots à connaître : Googlebot et ses variantes, Bingbot, Applebot, GPTBot, ClaudeBot, PerplexityBot.
• Attention au cloaking : servir une version dédiée aux robots est sanctionné.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !