> > Donnez la cadence aux robots de Live Search

Donnez la cadence aux robots de Live Search


Notez cet article

Indication intéressante dans un post intitulé More Crawling Improvements from MSNBot sur le blog pour webmasters du moteur de recherche Live Search de Microsoft : vous pouvez indiquer, dans votre fichier robots.txt, la cadence à laquelle MSNBot, le spider de ce moteur, peut venir indexer vos pages.

Exemple pour un "crawl" lent (5 secondes entre chaque requête) :

Crawl-delay: 5

Ou très lent (10 secondes entre chaque requête) :

Crawl-delay: 10

Ainsi, si vos statistiques de trafic vous indiquent un crawl trop rapide du robot de Microsoft, vous pouvez, par cette voie, lui indiquer de "ralentir la cadence" pour ne pas pénaliser vos visiteurs et désengorger vos accès... Bien sûr, il ne faudra pas oublier que, du coup, il faudra plus de temps au robot pour parcourir toutes vos pages. Un bon équilibre est donc à prévoir...

Microsoft avait déjà proposé en février dernier des indications pour mieux contrôler la façon dont ses robots "aspirent" votre site...

Commentaires : 2
  1. Anonymous 24 avril 2008 at 10 h 31 min

    avec un bon vieux robot.txt, il y a moyen de carrément lui interdire la visite du site et donc, plus de crawling comme un fou et au niveau de la fréquentation du site, c'est quasiment identique. Qui a dit que ce moteur ne servait à rien ?

  2. Anonymous 1 mars 2010 at 16 h 14 min

    ET comment est paramétré ton bon vieux robot.txt ?

Un site du Réseau Abondance | Olivier Andrieu | Contact | Publicité sur le site