Jusqu'à maintenant, Google, Microsoft et Yahoo avaient annoncé un accord pour prendre en compte les fichiers Sitemaps, sortes de plans du site au format XML. Ils viennent d'être rejoints par Ask.com et tous ont annoncé une nouvelle fonction nommée "autodiscovery", qui permet au moteur de découvrir le fichier Sitemaps de façon très simple en indiquant son emplacement physique dans un fichier Robots.txt en ajoutant sumlplement cette ligne :
Sitemap: <sitemap_location>
Exemple :
Sitemap: http://www.votresite.com/sitemaps.xml
Le robot, lorsqu'il lira le fichier robots.txt, aura ainsi immédiatement l'indication de la localisation de votre fichier Sitemaps et pourra le lire pour obtenir ainsi une vision quasi exhaustive des pages de votre site...
