Une étude menée par la Pennsylvania State University, et nommée "Determining Bias to Search Engines from Robots.txt", sur les fichiers "robots.txt" de 7 500 sites web montre que les webmasters avantagent aujourd'hui fortement les spiders de Google. Ses robots (Googlebot) sont en effet listés bien plus souvent dans ces fichiers que ceux de ses concurrents.

Selon cette étude, 93,8% des fichiers robots.txt inspectés contiennent une "règle de conduite" pour tous les robots, quels qu'ils soient. 72,4% en mentionnent aumoins une pour un spider particulier, avec une forte prédominence pour Google, puis viennent Yahoo!, Live Search/Msn et Altavista :


Source de l'image : Search Engine Land

http://www.personal.psu.edu/users/y/u/yus115/docs/sun_robotstxtbias.pdf

Source : Pennsylvania State University">Pennsylvania State University

Articles connexes sur ce site :

- Le fichier Robots.txt (mai 2007)
- Google analyse votre fichier robots.txt (7 février 2006)
- Exalead se rallie au standard Sitemap (20 juin 2007)
- Comment dé-référencer un site web ? (mars 2005)

Toutes les pages du réseau Abondance pour la requête robots.txt...