Un développeur web du nom de Colin Cochrane a remarqué cette semaine que le site de "bookmarking social" Del.icio.us, propriété de Yahoo!, bloquait les spiders des moteurs de recherche au travers de son fichiers robots.txt selon l'intitulé suivant :

Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

En gros, la plupart des répertoires importants du site sont interdits à ces spiders... Dont celui de Yahoo!. Et, effectivement, une recherche effectuée sur le site Del.icio.us (avec la syntaxe "site:del.icio.us") sur Google, pour les pages indexées sur les 7 derniers jours, ne donne que des liens sans version cache ni résumé, indiquant que les documents n'ont pas encore été indexés par le moteur de recherche :

Del.icio.us bloque les spiders de Google
Source : Abondance

La raison est certainement que Yahoo! intègre désormais les résultats de Del.icio.us dans ses résultats de recherche, offrant ainsi un avantage concurrentiel par rapport aux autres moteurs de recherche, et qu'il n'a aucune envie que ces derniers fassent la même chose en indexant les pages de son site...

http://del.icio.us/

Source :
del.icio.us Bans Search Engine Spiders (Colin Cochrane)
Yahoo Blocking Bots from Spidering Delicious Bookmarks (Search Engine Journal)

Articles connexes sur ce site :

- Yahoo! teste Del.icio.us dans ses pages de résultats (21 janvier 2008)
- Le référencement social au centre des préoccupations (16 mai 2007)

Toutes les pages du réseau Abondance pour la requête delicious...