Indication intéressante dans un post intitulé More Crawling Improvements from MSNBot sur le blog pour webmasters du moteur de recherche Live Search de Microsoft : vous pouvez indiquer, dans votre fichier robots.txt, la cadence à laquelle MSNBot, le spider de ce moteur, peut venir indexer vos pages.
Exemple pour un "crawl" lent (5 secondes entre chaque requête) :
Crawl-delay: 5
Ou très lent (10 secondes entre chaque requête) :
Crawl-delay: 10
Ainsi, si vos statistiques de trafic vous indiquent un crawl trop rapide du robot de Microsoft, vous pouvez, par cette voie, lui indiquer de "ralentir la cadence" pour ne pas pénaliser vos visiteurs et désengorger vos accès... Bien sûr, il ne faudra pas oublier que, du coup, il faudra plus de temps au robot pour parcourir toutes vos pages. Un bon équilibre est donc à prévoir...
Microsoft avait déjà proposé en février dernier des indications pour mieux contrôler la façon dont ses robots "aspirent" votre site...
ET comment est paramétré ton bon vieux robot.txt ?
avec un bon vieux robot.txt, il y a moyen de carrément lui interdire la visite du site et donc, plus de crawling comme un fou et au niveau de la fréquentation du site, c’est quasiment identique. Qui a dit que ce moteur ne servait à rien ?