Quatre compliments, une déception : ce que voit un modèle de sentiment

IATransparence : Abondance utilise l’IA à bon escient.En savoir plus

Abondance utilise l’IA à bon escient.

L’IA nous aide pour la veille et la préparation des articles, et chaque article est relu et validé par l’équipe éditoriale d’Abondance avant sa publication. Notre usage de l’IA.

Un avis client classé « positif », ça ne m'apprend pas grand-chose. Une fiche produit, un article ou un fil de forum mélangent des passages neutres, des éloges, des réserves et parfois une phrase assassine. Ce qui sert à un SEO ou à un rédacteur, c'est de savoir lesquelles, et où elles tombent dans la page.

Début novembre, je lis le billet de Dan Petrovic sur son classifieur de sentiment à sept niveaux, de -3 à +3, qui note chaque phrase en lisant le texte autour. Ça a fait tilt : classer du texte avec de petits modèles plutôt qu'avec un appel de LLM à chaque fois, c'était le sujet de mon atelier à TeknSEO 2026 (« Google classifie tout, même vous »), et c'est mon terrain de jeu du moment. Son modèle est entraîné sur des textes synthétiques en anglais. J'ai gardé l'échelle et remplacé l'essentiel du synthétique par du vrai texte du web, en six langues : anglais, français, espagnol, allemand, italien et portugais. Ça s'appelle WebSentiment, un jeu de données et deux modèles, en accès libre, usage commercial compris.

Et vous pouvez l'améliorer sans écrire une ligne de code. Il manque au projet des notes humaines sur de vraies phrases du web : si vous lisez l'une des six langues, venez en noter quelques-unes sur https://sdeaure-websentiment-gold.hf.space. Chaque participant qui le souhaite est cité dans la fiche du jeu de données (détails en fin d'article).

Un avis de restaurant noté phrase par phrase

Voici un avis TripAdvisor tiré du jeu de test, avec trois notes : celle de l'étiqueteur (le LLM qui a annoté le jeu de données), celle du modèle principal et celle du modèle avec contexte, qui lit chaque phrase avec l'avis entier.

(segments fr-000229:0 à :6, texte d'origine conservé, fautes et points d'exclamation compris : c'est du vrai web)

Le gabarit de TripAdvisor (« Vous possédez ou gérez cet établissement ? ») reste à 0, et la dernière phrase porte le verdict. La deuxième est un joli piège : quatre éloges du décor, et la cuisine qui déçoit tout au bout de la phrase. Lue seule, elle sonne comme un compliment, et le modèle principal lui met +3. Avec l'avis entier sous les yeux, le modèle avec contexte la classe à -2, plus près de l'étiqueteur.

Six usages pour un SEO

Auditer le ton d'une page ou d'une section. On découpe la page en phrases, on note chacune, on regarde la carte obtenue par bloc : intro, corps, encadrés, pied de page. Sur une page du Télégramme du jeu de test, l'article sur un atelier d'anglais à l'école est positif (« Grâce à cette méthode, les élèves ont assimilé bien des mots de la vie de tous les jours. » : +2), mais le bloc « Articles à la une » qui suit aligne une grève SNCF, un « Dérapage en bourse » et « Au moins 62 morts dans une attaque contre une mosquée » (-2 pour le modèle, -3 pour l'étiqueteur). Le lecteur qui fait défiler la page voit les deux. Le modèle note le ton des mots, donc un fait tragique rapporté sobrement sort très négatif. À vous de décider si ce voisinage vous gêne.

Suivre les avis et les fils de forum. On note chaque phrase des avis, on suit la moyenne dans le temps, et on lit en premier les phrases à -2 et -3. Sur quelques centaines d'avis, ça trie la lecture. Bon, l'ironie (« super, encore livré en retard ») reste le point faible de tous les systèmes que j'ai mesurés, LLM compris.

Comparer les mentions d'une marque d'un pays à l'autre. Le même modèle note les six langues avec la même échelle, ce qui permet de comparer le ton des mentions en France, en Allemagne ou en Espagne sans changer d'outil. Attention, il note le ton de la phrase et ignore à qui il s'adresse : une phrase qui compare votre marque à une autre peut sortir positive alors qu'elle vous est défavorable. Les comparaisons font d'ailleurs partie des tournures qui le gênent.

Regarder le ton de vos titres. Un titre fait une dizaine de mots, la taille des segments d'entraînement (12 mots en médiane). Vous pouvez noter vos titres, vos cartes Discover ou vos balises title et voir où se place votre ligne éditoriale. Le score ne dit rien des clics : pour savoir si un ton marche mieux chez vous, croisez avec vos propres statistiques.

Comparer vos pages aux pages concurrentes sur une requête. On récupère les pages du top 10, on note les paragraphes, et on voit si la SERP est informative et neutre ou chargée en émotion (comparatifs enthousiastes, avis tranchés). Votre page est-elle dans le ton de ce qui est montré ? Pour comparer un lot de pages entre elles, utilisez l'option de centrage sur le corpus, qui corrige le décalage moyen propre à chaque lot.

Repérer les passages très négatifs dans le contenu des utilisateurs. Commentaires, avis hébergés chez vous, questions-réponses : les phrases à -3 remontent en tête d'une file de modération. Les niveaux extrêmes (-3 et +3) sont les moins fiables du modèle, il sert à trier, un humain tranche.

Comment l'essayer

Sans rien installer : la démo en ligne. On colle un texte, chaque phrase est notée de -3 à +3 et surlignée, en vert pour le positif, en rouge pour le négatif, plus foncé quand c'est plus marqué. On peut lire chaque phrase seule ou dans le contexte du texte entier : https://huggingface.co/spaces/SDeaure/websentiment-demo

Le modèle, pour des textes isolés (avis, titres, posts). C'est une petite couche de 119 Ko posée sur EmbeddingGemma-300m, un modèle d'embeddings ouvert de Google. La bête tourne sur un ordinateur portable, et même dans le navigateur avec transformers.js. En Python :

# pip install "sentence-transformers>=5" "transformers>=4.56" huggingface_hub
from huggingface_hub import hf_hub_download
import importlib.util

path = hf_hub_download("SDeaure/websentiment-egemma-ml-7", "websentiment.py")
spec = importlib.util.spec_from_file_location("websentiment", path)
ws = importlib.util.module_from_spec(spec); spec.loader.exec_module(ws)

model = ws.WebSentiment()
model.predict(["Livraison rapide, produit conforme.", "Plus jamais."])

EmbeddingGemma est en accès contrôlé : il faut accepter ses conditions sur Hugging Face et se connecter (hf auth login) avant le premier appel.

Le modèle avec contexte, pour les phrases d'une page quand vous avez la page : il lit la page une fois, puis chaque phrase avec elle. C'est lui qui rattrape la deuxième phrase de l'avis plus haut. Il reste expérimental : son gain n'est mesuré que contre les notes de l'étiqueteur (c'est justement là que vous intervenez, voir plus bas).

Le jeu de données, pour entraîner votre propre classifieur, sur votre propre échelle (trois classes, ou une note de 1 à 5). Chaque phrase est livrée avec sa page d'origine, son format (fiche produit, article, forum…) et son URL.

Côté licences, le jeu de données est sous ODC-By 1.0, les modèles sous CC BY 4.0, usage commercial compris. Si vous les redistribuez, une mention est obligatoire. Si vous les utilisez dans un outil ou un site sans les redistribuer, un lien vers la page du projet est demandé.

Tout est sur https://sylvain-deaure.fr/websentiment/ : liens Hugging Face et notices.

Notez des phrases, améliorez un modèle gratuit

Toutes les notes d'entraînement de WebSentiment viennent d'un LLM. Le modèle a donc appris ses intuitions, et ses angles morts avec. Reprenez la deuxième phrase de l'avis de restaurant : le modèle seul dit +3, le modèle avec contexte -2, le LLM qui l'a étiquetée -1. Lequel a raison ? Pour le dire, il faut des notes humaines sur ce genre de phrases, et il m'en manque. Il me faut des lecteurs.

C'est à ça que sert le jeu de référence : 1 200 phrases du web, dans les six langues, chacune affichée avec le passage d'où elle vient. Vous lisez, vous choisissez une note de -3 à +3, vous passez à la suivante. Il n'y a pas de bonne réponse à trouver, je veux votre première lecture. Une seule note aide déjà, et vous vous arrêtez quand vous voulez.

Avec vos notes, je pourrai :

• vérifier si le modèle avec contexte fait vraiment mieux que le modèle principal, face à des humains et plus seulement face au LLM ;
• voir sur quelles tournures il se trompe (ironie, phrases mitigées, faits divers rapportés sobrement), et donc quoi corriger dans la version suivante ;
• publier une référence ouverte, pour que n'importe qui puisse mesurer son propre modèle de sentiment en français, en allemand ou en portugais.

Le deal est simple : le modèle est gratuit, usage commercial compris, et chaque phrase que vous notez l'améliore pour tous ceux qui s'en servent, vous compris.

Vous serez cité. Dans l'outil, une case facultative « Comment vous citer ? » accepte un nom, un pseudo ou un lien vers votre profil, et vous serez remercié nommément dans la fiche du jeu de référence publié. Si vous la laissez vide, vous y figurez sous un numéro.

On se connecte avec un compte Hugging Face (gratuit). Plus vous êtes nombreux dans une langue, plus la référence couvre de cas.

C'est par ici : https://sdeaure-websentiment-gold.hf.space

Fiabilité et limites

• Sur 9 jeux de test annotés par des humains, dans les six langues (critiques de films, tweets, titres de presse, actualité financière), le modèle atteint 0,673 de macro-F1 en trois classes (négatif, neutre, positif).
• Sur du texte du web pris au hasard, il trouve le niveau exact de l'étiqueteur dans 67 % des cas, et tombe à un niveau près dans 95 % des cas.
• Les notes d'entraînement viennent d'un LLM (Claude Sonnet), pas d'humains. Le modèle hérite de ses biais, et ne peut guère faire mieux que lui.
• L'ironie et les phrases mitigées (un éloge et une critique dans la même phrase) restent le point dur.
• Six langues mesurées. Les autres passent peut-être par l'encodeur multilingue, rien n'est mesuré.
• Pour un document long, découpez en phrases ou en paragraphes, puis faites la moyenne.

Si vous le passez sur vos pages, montrez-moi ce que ça donne !