Une étude menée par la Pennsylvania State University, et nommée "Determining Bias to Search Engines from Robots.txt", sur les fichiers "robots.txt" de 7 500 sites web montre que les webmasters avantagent aujourd'hui fortement les spiders de Google. Ses robots (Googlebot) sont en effet listés bien plus souvent dans ces fichiers que ceux de ses concurrents.
Selon cette étude, 93,8% des fichiers robots.txt inspectés contiennent une "règle de conduite" pour tous les robots, quels qu'ils soient. 72,4% en mentionnent aumoins une pour un spider particulier, avec une forte prédominence pour Google, puis viennent Yahoo!, Live Search/Msn et Altavista :
http://www.personal.psu.edu/users/y/u/yus115/docs/sun_robotstxtbias.pdf
Source : Pennsylvania State University">Pennsylvania State University
Articles connexes sur ce site :
- Le fichier Robots.txt (mai 2007)
- Google analyse votre fichier robots.txt (7 février 2006)
- Exalead se rallie au standard Sitemap (20 juin 2007)
- Comment dé-référencer un site web ? (mars 2005)
Toutes les pages du réseau Abondance pour la requête robots.txt...
Articles complémentaires :
Google va explorer des alternatives au fichier robots.txt
Nouveauté Google : les fichiers CSV sont indexables !
La loi générale de la nature a encore parlé : le lion Google est en train de manger tout crus ses petits camarades.