L'outil Google Sitemaps offre une fonctionnalité bien utile depuis aujourd'hui, avec un analyseur de fichier robots.txt. Dans l'interface utilisateur de l'outil, un onglet "robots.txt" permet de tester la validité du fichier que vous avez créé sur votre site, autorisant ou interdisant l'accès à vos pages de la part des robots des moteurs :

L'outil vous indique alors si votre fichier est bien écrit et quelles sont les pages qui sont bloquées ou non pour Googlebot, le robot du moteur. Un analyseur bien pratique pour savoir si vous n'avez pas fait de faute de syntaxe dans la rédaction (parfois complexe) de ce fichier...

http://www.google.com/webmasters/sitemaps/login

Source : Google