> > Fichiers robots.txt : avantage Google

Fichiers robots.txt : avantage Google



 
Fichiers robots.txt : avantage Google
Notez cet article

Une étude menée par la Pennsylvania State University, et nommée "Determining Bias to Search Engines from Robots.txt", sur les fichiers "robots.txt" de 7 500 sites web montre que les webmasters avantagent aujourd'hui fortement les spiders de Google. Ses robots (Googlebot) sont en effet listés bien plus souvent dans ces fichiers que ceux de ses concurrents.

Selon cette étude, 93,8% des fichiers robots.txt inspectés contiennent une "règle de conduite" pour tous les robots, quels qu'ils soient. 72,4% en mentionnent aumoins une pour un spider particulier, avec une forte prédominence pour Google, puis viennent Yahoo!, Live Search/Msn et Altavista :


Source de l'image : Search Engine Land

http://www.personal.psu.edu/users/y/u/yus115/docs/sun_robotstxtbias.pdf

Source : Pennsylvania State University">Pennsylvania State University

Articles connexes sur ce site :

- Le fichier Robots.txt (mai 2007)
- Google analyse votre fichier robots.txt (7 février 2006)
- Exalead se rallie au standard Sitemap (20 juin 2007)
- Comment dé-référencer un site web ? (mars 2005)

Toutes les pages du réseau Abondance pour la requête robots.txt...

1 commentaire
  1. Transfert Super8 en DVD 17 novembre 2007 at 22 h 44 min

    La loi générale de la nature a encore parlé : le lion Google est en train de manger tout crus ses petits camarades.

Un site du Réseau Abondance | Olivier Andrieu | Contact | Publicité sur le site