> > Del.icio.us bloque les moteurs

Del.icio.us bloque les moteurs


Notez cet article

Un développeur web du nom de Colin Cochrane a remarqué cette semaine que le site de "bookmarking social" Del.icio.us, propriété de Yahoo!, bloquait les spiders des moteurs de recherche au travers de son fichiers robots.txt selon l'intitulé suivant :

Disallow: /inbox
Disallow: /subscriptions
Disallow: /network
Disallow: /search
Disallow: /post
Disallow: /login
Disallow: /rss

En gros, la plupart des répertoires importants du site sont interdits à ces spiders... Dont celui de Yahoo!. Et, effectivement, une recherche effectuée sur le site Del.icio.us (avec la syntaxe "site:del.icio.us") sur Google, pour les pages indexées sur les 7 derniers jours, ne donne que des liens sans version cache ni résumé, indiquant que les documents n'ont pas encore été indexés par le moteur de recherche :

Del.icio.us bloque les spiders de Google
Source : Abondance

La raison est certainement que Yahoo! intègre désormais les résultats de Del.icio.us dans ses résultats de recherche, offrant ainsi un avantage concurrentiel par rapport aux autres moteurs de recherche, et qu'il n'a aucune envie que ces derniers fassent la même chose en indexant les pages de son site...

http://del.icio.us/

Source :
del.icio.us Bans Search Engine Spiders (Colin Cochrane)
Yahoo Blocking Bots from Spidering Delicious Bookmarks (Search Engine Journal)

Articles connexes sur ce site :

- Yahoo! teste Del.icio.us dans ses pages de résultats (21 janvier 2008)
- Le référencement social au centre des préoccupations (16 mai 2007)

Toutes les pages du réseau Abondance pour la requête delicious...

Commentaires : 2
  1. Jerome 20 février 2008 at 9 h 12 min

    [parenthèse]
    Tiens je ne connaissais pas la
    fonction de google sur le délai... j'ai essayé avec mon site (collectionnix.com) et cela n'est pas très cohérent... pas de résultat dans les 7, 14 , 31 derniers jours... juste dans les 6 derniers mois et avec des dates dans les 15 derniers jours...
    Est-ce que ce module est réellement au point ou est-ce moi qui ait du mal ?
    [/parenthèse]

  2. Evopub 20 février 2008 at 21 h 14 min

    Bizarre : les URLs bloquées ne sont pas celles où sont enregistrés les liens, l'organisation principale de Delicious étant del.icio.us/Compte/Tag (avec Compte étant l'identifiant personnel et Tag le tag voulu) ou del.icio.us/Tag (avec quelques Tags réservés, "popular" par exemple)
    Si confirmés (je n'ai pas vérifié) les tests de l'auteur montrent donc autre chose, le robot.txt ne faisant qu'empêcher l'indexation des répertoires administratifs.

Un site du Réseau Abondance | Olivier Andrieu | Contact | Publicité sur le site