Slurp

Slurp est le robot d'exploration de Yahoo!, lancé en 2004 quand le portail a construit son propre moteur après avoir dépendu de Google. Depuis l'accord de 2009-2010 avec Microsoft, les résultats de Yahoo! Search viennent de Bing, et Slurp ne sert plus qu'à quelques usages internes (contenus Yahoo!, fonctions locales). Il apparaît encore dans les logs des sites, sous le user-agent « Yahoo! Slurp ».

Définition de Slurp

Slurp était un robot d'indexation, également appelé "crawler" ou "spider", utilisé par le moteur de recherche Yahoo! pour parcourir et indexer les pages web. Yahoo ! Slurp a été créé en 2004. Son rôle était d'explorer les sites web, de suivre les liens et de collecter des informations sur les pages pour les inclure dans l'index de Yahoo!.

L'histoire de Slurp et Yahoo! Search

Yahoo! est l'un des premiers moteurs de recherche apparus sur le Web, fondé en 1994. Au fil des années, Yahoo! a développé son propre robot d'indexation, appelé Slurp, pour explorer et indexer les sites web. Cependant, Yahoo! a subi de nombreux changements et déclins dans l'industrie des moteurs de recherche, en grande partie en raison de la popularité croissante de Google.

Depuis 2009, Yahoo! s'appuie principalement sur Bing, un autre moteur de recherche, pour fournir les résultats de recherche. Bien que Yahoo! continue de fonctionner en tant que moteur de recherche indépendant, il utilise désormais le robot d'indexation de Bing, appelé Bingbot, pour une grande partie de son indexation et de son classement.

Comment Slurp influençait le référencement sur Yahoo!

Comprendre le fonctionnement de Slurp était essentiel pour optimiser un site web pour les résultats de recherche Yahoo!.

Slurp explorait les sites web en suivant les liens et en collectant des informations sur les pages, telles que le titre, la description, les mots-clés, le contenu et les liens. Ces informations étaient ensuite utilisées pour indexer les pages dans la base de données de Yahoo! et pour déterminer leur classement dans les résultats de recherche.

Slurp prenait en compte divers facteurs pour déterminer le classement d'une page dans les résultats de recherche de Yahoo!, tels que la pertinence des mots-clés, la qualité du contenu, la popularité du site, le nombre de liens entrants et la facilité de navigation du site. En optimisant ces facteurs, les éditeurs de site pouvaient améliorer le classement de leur site dans les résultats de recherche Yahoo!.

Optimisation pour Slurp : Bonnes pratiques SEO

Pour optimiser un site web pour Slurp, les webmasters devaient suivre certaines bonnes pratiques SEO :

Importance du fichier robots.txt

Le fichier robots.txt permettait aux webmasters de contrôler l'accès de Slurp à certaines parties de leur site. En spécifiant les directives appropriées dans ce fichier, les éditeurs de sites pouvaient indiquer à Slurp quelles pages indexer et quelles pages ignorer.

Utilisation des balises méta et leur impact sur Slurp

Les balises méta, telles que noindex et nofollow, pouvaient être utilisées pour indiquer à Slurp de ne pas indexer certaines pages ou de ne pas suivre certains liens. En utilisant ces balises de manière appropriée, les webmasters pouvaient s'assurer que seules les pages pertinentes étaient indexées par Slurp.

Quelle est l'importance de Slurp aujourd'hui ?

Aujourd'hui, l'importance de Slurp a diminué en raison de la prédominance de Google et de la dépendance de Yahoo! à l'égard de Bing pour les résultats de recherche. Bien que Slurp fonctionne toujours pour les résultats de recherche mobiles, la majorité de l'indexation et du classement sur Yahoo! est désormais effectuée par Bingbot, le robot d'indexation de Bing.

En conséquence, les SEO doivent se concentrer davantage sur l'optimisation de leur site pour Googlebot et Bingbot plutôt que pour Slurp. Néanmoins, les principes de base de l'optimisation pour les moteurs de recherche restent applicables, quel que soit le robot d'indexation utilisé.

On parle aussi de Slurp ici :

- Yahoo! présente son nouveau robot, Yahoo! Slurp (Abondance, février 2004)

FAQ

Slurp explore-t-il encore les sites ?

Oui, mais à faible volume : il alimente des services propres à Yahoo! (actualités, pages locales, agrégations) et non un index de recherche généraliste, celui-ci venant de Bing. Sa présence dans les logs n'a plus d'enjeu de positionnement.

Faut-il bloquer Slurp ?

Non, il est inoffensif et respecte le robots.txt. Le bloquer priverait tout au plus les services de Yahoo! de vos contenus, sans gain pour le serveur.

Comment se positionner sur Yahoo! aujourd'hui ?

En optimisant pour Bing : ses résultats alimentent Yahoo! Search, DuckDuckGo et Copilot. Bing Webmaster Tools est l'équivalent de la Search Console pour ce périmètre.

Quelle est l'histoire de Yahoo! Search ?

Annuaire en 1994, Yahoo! a sous-traité sa recherche à Inktomi, AltaVista puis Google, avant de racheter Inktomi, Overture et AltaVista en 2002-2003 et de lancer son propre moteur avec Slurp en 2004. Face à Google, il a cédé la technologie à Bing en 2009.

En résumé

• Slurp : le robot de Yahoo! Search, lancé en 2004.
• Depuis 2010 : les résultats de Yahoo! viennent de Bing, Slurp ne sert qu'à des usages internes.
• Dans les logs : user-agent « Yahoo! Slurp », inoffensif, respecte le robots.txt.
• Pour Yahoo! : optimiser pour Bing et suivre Bing Webmaster Tools.

Abondance c'est aussi des audits SEO, un service de contenus et des formations en e-learning !