Screaming Frog SEO Spider 24.0 : intégration de l'IA et automatisation accrue

Screaming Frog vient de publier la version 24.0 de son SEO Spider, surnommée « bolus » en interne. Cette mise à jour est l'une des plus substantielles depuis longtemps : elle introduit un serveur MCP pour piloter l'outil depuis des assistants IA comme Claude, automatise la comparaison de crawls, enrichit les notifications par email et ajoute plusieurs fonctionnalités pratiques attendues de longue date.

Ce qu'il faut retenir :

Le SEO Spider devient pilotable par IA grâce à un serveur MCP compatible avec Claude, LM Studio et d'autres assistants en langage naturel.
La comparaison automatique de crawls est désormais disponible pour les crawls planifiés, avec un résumé des changements directement dans l'email de notification.
Les liens non crawlables sont maintenant détectés et signalés, ce qui permet d'identifier les pratiques de liens non conformes aux recommandations de Google.
Une dizaine d'améliorations secondaires complètent la mise à jour, dont la validation des modèles IA en temps réel et le support de Java 25.

Un serveur MCP pour piloter le SEO Spider depuis une IA

C'est la nouveauté phare de cette version. Screaming Frog introduit un serveur MCP (Model Context Protocol) qui permet de connecter le SEO Spider à des assistants IA comme Claude ou LM Studio. Concrètement, il devient possible de lancer des crawls, d'analyser les données, d'exporter des rapports et de manipuler les résultats directement depuis une interface de chat, en langage naturel.

Les cas d'usage couvrent un spectre large :

Résumer un crawl en quelques mots, visualiser les données sous une forme personnalisée,
Combiner des exports,
Exécuter le pipeline d'analyse complet
Installer des scripts pour produire des visuels interactifs.

Screaming Frog donne l'exemple d'une analyse de maillage interne réalisée avec l'intégration Ahrefs et rendue sous forme de graphique via l'IA.

L'intégration avec Claude Cowork est également mentionnée comme un axe prometteur, notamment pour automatiser des tâches répétitives sur des fichiers et des workflows quotidiens.

Il faut noter que toutes les fonctionnalités du SEO Spider ne sont pas encore supportées dans le MCP. Screaming Frog prévoit d'étendre les capacités en fonction des retours utilisateurs.

La comparaison automatique de crawls

Jusqu'ici, comparer deux crawls demandait une manipulation manuelle. La version 24.0 introduit une option « Auto Compare Crawls » disponible dans les tâches de crawl planifiées et les crawls en ligne de commande (CLI). Activée, elle compare automatiquement les deux derniers crawls d'un projet et génère un rapport de différences.

Ce rapport liste tous les changements survenus entre les deux crawls : pages ajoutées ou supprimées, évolution des problèmes SEO détectés, variations sur les balises, les codes de réponse, etc.

Les changements visibles directement dans les notifications email

Les notifications de fin de crawl existaient déjà, mais leur contenu s'enrichit dans cette version. L'email inclut désormais un tableau récapitulatif de tous les problèmes détectés lors du crawl.

Si la comparaison automatique est activée, l'email affiche en plus un tableau de comparaison qui met en évidence les évolutions entre les deux derniers crawls : pages indexables devenues non indexables, balises title disparues, pics de pages en erreur, etc. L'idée est de permettre une surveillance continue du site sans avoir à ouvrir le logiciel à chaque fois.

L'envoi d'exports en pièces jointes par email

Toujours dans la logique d'automatisation, il est maintenant possible de configurer l'envoi automatique d'exports en pièces jointes à la fin d'un crawl. Cette option se paramètre dans la section « Notifications » d'une tâche planifiée.

Le principe est simple : on choisit un destinataire, on sélectionne le rapport souhaité (liens cassés, résumé des problèmes, etc.) et l'export arrive automatiquement dans sa boîte mail après chaque crawl. Les fichiers sont envoyés compressés. Si la pièce jointe dépasse la limite de l'hébergeur mail, l'email signale l'erreur au destinataire.

La détection des liens non crawlables

Le SEO Spider peut désormais identifier des types de liens présents dans le HTML mais qui ne respectent pas les bonnes pratiques de liens telles que définies par Google. Ces liens sont qualifiés de non crawlables dans l'interface.

Ils apparaissent dans l'onglet Links via le nouveau filtre « Pages With Uncrawlable Internal Outlinks », ainsi que dans une nouvelle colonne « Link Crawlability » dans l'onglet Outlinks. Un export en masse est disponible via Bulk Export > Links > Pages With Uncrawlable Internal Outlinks.

Détection des liens non crawlables - Source : Sreaming Frog

Pour que cette détection fonctionne, l'option « Store » doit être activée dans Config > Spider > Crawl.

Une précision importante de Screaming Frog : leurs recherches indiquent que Google tente en réalité de crawler tout ce qui ressemble à un lien dans le HTML, y compris ces formats non conventionnels. Ces liens sont donc souvent « crawlables » en pratique. Ils restent néanmoins déconseillés, car ils ne sont pas traités de la même façon qu'un lien HTML standard pour la transmission des signaux de lien.

Les statistiques d'utilisation

Une petite nouveauté légère, mais amusante : il est maintenant possible de consulter ses propres statistiques d'utilisation du logiciel via Help > Usage Stats. On y trouve le temps passé à crawler, le nombre de crawls lancés, etc.

Ces données sont stockées localement sur la machine. Screaming Frog reconnaît eux-mêmes que l'utilité pratique est limitée, mais que ça peut donner une idée concrète de la valeur tirée de l'outil au quotidien.

Les autres améliorations de la version 24.0

La mise à jour embarque également une série de changements plus ciblés :

Nouvelles versions Linux Arm64 : deux nouveaux packages sont disponibles pour les architectures Arm, sous Ubuntu et Fedora.
Liens syntaxiquement invalides : une nouvelle option « Crawl Invalid Links » sous Config > Spider > Crawl permet de traiter et signaler les URLs malformées (comme hppts://example.com). Ces URLs apparaissent généralement sous Response Codes > No Response.
Ignorer les exports vides : dans les paramètres de sortie des crawls planifiés et dans Bulk Export > Multi Export, il est désormais possible de ne pas exporter les rapports qui ne contiennent aucune donnée. Ils n'apparaîtront pas non plus en pièce jointe dans les emails.
Métriques Ahrefs par pays : un onglet Options fait son apparition dans l'intégration Ahrefs, avec des filtres pour ajuster les données par pays et par type de volume (mensuel ou moyen).
Clusters de contenu filtrables : dans le graphe des clusters de contenu, il est maintenant possible de cliquer sur les légendes pour afficher ou masquer des catégories.
Validation des modèles IA en temps réel : lorsqu'un modèle est spécifié dans une intégration IA, le SEO Spider vérifie désormais s'il existe bien dans la liste des modèles disponibles du fournisseur. Si ce n'est pas le cas, une alerte est affichée et il est possible d'en choisir un actif. Une nécessité, compte tenu de la vitesse à laquelle les modèles IA sont dépréciés ou renommés.
Prompt système global pour les intégrations IA : dans l'onglet "Advanced" de chaque intégration IA, il est possible de définir un prompt système pour encadrer le comportement du modèle (rôle, contraintes, personnalité, etc.) de façon cohérente sur toutes les interactions.
Affichage des tokens consommés : la consommation de tokens est maintenant visible dans le dialogue « Account Information » pour chaque fournisseur IA connecté.
Intégration Ollama : l'intégration Ollama supporte désormais la génération d'images et dispose d'un paramètre « Request Timeout » réglable dans l'onglet avancé.
Retour au nom "Data Studio" : Screaming Frog a rebaptisé « Looker Studio » en « Data Studio » dans ses rapports automatisés, conformément aux derniers changements de nom opérés par Google.
Mise à jour vers Java 25 : le SEO Spider tourne désormais sur Java 25.

Screaming Frog SEO Spider 24.0 : intégration de l’IA et automatisation accrue

Ce qu'il faut retenir :