Le web crawlable a un seuil de rupture, et le fondateur d’IBOU vient de le démontrer

Le contrat tacite que la recherche générative a rompu

Le web repose depuis des décennies sur un échange implicite entre éditeurs et moteurs de recherche : le moteur crawle le contenu, et en retour il envoie des visites. Ces visites se monétisent en publicité, en abonnements ou en leads, et une partie de ce revenu finance la production du contenu suivant. Ce contrat n'a jamais été écrit nulle part, mais c'est lui qui a fait tourner l'économie du web éditorial.

Un moteur génératif fonctionne différemment par construction. Il lit les pages, fabrique une réponse à partir de leur contenu, et garde l'utilisateur sur sa propre interface. La valeur du contenu original est bien utilisée puisqu'elle nourrit la réponse, mais l'absence de visite prive l'éditeur de la rémunération qui allait avec. Sylvain Peyronnet appelle ce phénomène l'extraction, et le mesure par un taux : la part de la valeur d'une page que le moteur conserve sans renvoyer de visite en échange.

• Un moteur de recherche classique se situe à 0 %, toute la valeur repart vers les sources sous forme de clics.
• Une réponse générative complète se situe à 100 %, l'utilisateur obtient ce qu'il cherchait et n'a plus de raison de cliquer.

Trois dégradations qui frappent en même temps

Pour comprendre ce qui se passe quand ce taux d'extraction augmente, le papier modélise le web crawlable comme ce que les économistes appellent un commun, une ressource partagée dont personne n'assume seul l'entretien. L'auteur compare cela à un pré communal : tant que peu de bêtes y paissent, l'herbe repousse sans problème, mais au-delà d'une certaine charge, elle ne repousse plus assez vite. Le web crawlable est ce pré, et le contenu neuf, financé jusqu'ici par les visites organiques, en est l'entretien.

Le modèle identifie trois réactions des éditeurs face à la montée du taux d'extraction, et ces trois réactions dégradent le corpus chacune à leur manière.

1. La première concerne le tri par la qualité. Un site à forte valeur ajoutée dispose d'alternatives au trafic organique : abonnement, licences, audience directe. Ces alternatives rapportent d'autant plus que le contenu est bon. Quand le trafic ne paie plus, ce sont donc logiquement les meilleurs contenus qui se ferment aux crawlers ou passent derrière un paywall, laissant un corpus ouvert de plus en plus composé de contenu de faible valeur.
2. La deuxième concerne le renouvellement. Moins de visites signifie moins de revenu, donc moins de moyens pour produire du contenu neuf. Le corpus continue de vieillir normalement, mais ce qui expire n'est plus remplacé au même rythme.
3. La troisième concerne la nature même du contenu produit. Face à un moteur qui absorbe tout ce qui est durable, un éditeur qui cherche à survivre a tout intérêt à déplacer sa valeur vers ce que le moteur ne peut pas stocker facilement : données en temps réel, flux, outils, communauté. À l'inverse, la tentation existe aussi de produire du contenu qui ne coûte presque rien, ce que l'auteur associe à l'AI slop.

Ces trois dégradations, précise l'article, ont la même cause et surviennent donc simultanément : le volume, la qualité moyenne et la durée de vie du corpus baissent en même temps.

Un seuil unique, et une phase silencieuse avant la chute

Le résultat central du papier est la démonstration mathématique d'un seuil unique sur le taux d'extraction, au-delà duquel le renouvellement du corpus ne compense plus son usure. En dessous de ce seuil, le web se dégrade, mais se stabilise à un niveau plus petit et de moindre qualité, et le mouvement reste réversible si l'extraction diminue. Au-delà, le corpus s'éteint, et la chute s'accélère au fil du temps. Le papier ne fixe pas de valeur chiffrée pour ce seuil sur le web réel, faute de paramètres observables aujourd'hui, mais il prouve que ce seuil existe mathématiquement et identifie les variables dont il dépend.

Un point souligné par l'auteur mérite l'attention des éditeurs : tant que l'extraction reste sous un certain niveau, personne ne bouge, parce que quitter le corpus a un coût fixe (mettre en place un paywall, perdre en découvrabilité) identique pour un petit site comme pour un grand, et que ce coût n'est pas encore couvert par le bénéfice du départ. Un point de bascule survient ensuite, et les départs commencent par le haut de gamme, c'est à dire par les sites les plus qualitatifs. Le calme apparent du paysage actuel ne prouve donc rien en soi : dans le modèle, c'est exactement ce à quoi ressemble la phase qui précède les premiers départs. Le papier cite d'ailleurs des mesures qui vont dans ce sens : 25 % des mille plus gros sites mondiaux restreignent déjà les crawlers d'IA, et parmi les médias, ce sont les sources les plus fiables qui bloquent le plus.

Ni la vision long terme des moteurs, ni la concurrence, ni le marché ne suffisent

Deux arguments rassurants reviennent souvent face à ce constat. Le premier veut que les grands moteurs, qui pensent à long terme, n'aient aucun intérêt à détruire la ressource qui les fait vivre. Le second veut que la préférence des utilisateurs pour des réponses directes règle naturellement le problème via le marché. Le papier teste mathématiquement ces deux arguments.

• Sur le premier point, le modèle donne d'abord raison à l'intuition optimiste : un moteur unique qui raisonne sur le long terme se maintient spontanément sous le seuil, sans besoin de régulation, parce qu'il n'a rien à gagner à détruire le corpus dont dépendent ses réponses. Mais dès que plusieurs moteurs patients se partagent le même corpus, la dynamique change complètement. Chaque moteur extrait un peu plus que ce qui serait optimal collectivement, et le papier démontre que plus le nombre de moteurs augmente, plus le taux d'extraction du marché converge vers le seuil de rupture, pendant que la valeur totale tirée du corpus par l'ensemble du marché s'effondre vers zéro. C'est la tragédie des communs classique, appliquée au crawl.
• Sur le second point, Sylvain Peyronnet pousse l'hypothèse au maximum en supposant que les utilisateurs préfèrent strictement la réponse directe, en toutes circonstances. Même dans ce scénario le plus favorable à l'extraction, le taux socialement optimal, celui qui maximiserait le bien-être collectif y compris celui des utilisateurs, ne dépasse jamais celui que choisirait un moteur unique et patient. Et dès que les visites conservent la moindre valeur pour les utilisateurs, ce taux optimal passe strictement en dessous. La conséquence pratique est directe pour ceux qui pilotent les moteurs : un système qui règle son curseur d'extraction sur la satisfaction utilisateur mesurée en temps réel dépassera rapidement le seuil admissible, parce que cette mesure de satisfaction continue de progresser bien après que le taux d'extraction soit devenu excessif pour le corpus.

Sept mécanismes pour rester sous le seuil

Aucun des freins naturels envisageables ne fonctionne seul, ce qui conduit l'auteur à proposer sept mécanismes correctifs, classés selon le niveau de coordination nécessaire à leur mise en œuvre.

Deux mécanismes sont actionnables par un moteur seul. Le referral floor consiste pour un moteur à s'imposer un plancher de trafic renvoyé, via des citations visibles, des liens engageants et un engagement public chiffré sur le ratio entre pages crawlées et visites renvoyées : c'est le mécanisme jugé le plus solide, parce qu'il agit directement sur les trois dégradations, et il est déjà partiellement en place puisque les ratios mesurés varient fortement d'un moteur à l'autre. Le teaser answer consiste à répondre à la question de façon volontairement incomplète pour inciter l'utilisateur à consulter les sources citées, ce qui protège en priorité le contenu de fond, celui que les moteurs absorbent en premier.

Trois mécanismes passent par un marché et font transiter de l'argent du moteur vers les éditeurs. Le paid crawling fait payer l'accès au contenu à la requête de crawl, au prix fixé par l'éditeur, ce qui améliore l'option de rester ouvert et retient les meilleurs sites dans le corpus ; Cloudflare défend notamment cette approche. Le flow-indexed licensing consiste pour le moteur à payer la production nouvelle via une licence proportionnelle au rythme de publication de l'éditeur, ce qui finance directement le renouvellement du corpus. L'attribution prévoit qu'une réponse générée déclenche un partage de revenu entre le moteur et les sites ayant contribué à cette réponse, selon une logique proche de la valeur de Shapley issue de la théorie des jeux : chaque source est payée selon ce que la réponse perdrait sans elle.

Deux mécanismes demandent une coordination plus large, donc plus longue à mettre en place. Le collective bargaining reprend le modèle du droit voisin de la presse, en vigueur en Europe depuis 2019, pour transformer la longue traîne des éditeurs trop petits pour peser individuellement en un interlocuteur collectif capable de négocier des conditions correctes avec les moteurs. L'enforceable signal viserait à transformer le robots.txt, aujourd'hui une simple déclaration sans force contraignante, en une déclaration de conditions d'usage lisible par machine et dotée d'une portée légale, du type crawl contre citation, crawl contre paiement, ou pas de crawl du tout ; des travaux existent en ce sens, notamment à l'IETF, avec une complexité qui tient surtout à l'aspect juridique.

Le classement de ces sept mécanismes reflète leur degré de maturité : les deux premiers peuvent être mis en œuvre immédiatement par un moteur, les mécanismes de marché disposent déjà de premières briques concrètes, et la coordination collective reste la voie la plus longue à construire.

Le papier complet, d’unune vingtaine de pages, est disponible en accès libre sur arXiv à l'adresse suivante : https://arxiv.org/abs/2608.15896