L'outil Google Sitemaps offre une fonctionnalité bien utile depuis aujourd'hui, avec un analyseur de fichier robots.txt. Dans l'interface utilisateur de l'outil, un onglet "robots.txt" permet de tester la validité du fichier que vous avez créé sur votre site, autorisant ou interdisant l'accès à vos pages de la part des robots des moteurs...
Source: http://actu.abondance.com/2006-06/robots-txt.php