Les « Webmasters Tools » de Google proposent depuis cette semaine un nouvel outil avec un générateur de fichier « robots.txt » : vous spécifiez ce qu’il doit contenir (permettre l’accès ou bloquer les robots, quelles actions vous voulez que chaque robot désiré ait sur votre site, etc.) et l’outil génère à la volée le fichier robots.txt idoine que vous n’avez plus qu’à copier/coller et à transférer…

Source et suite de l’article : http://actu.abondance.com/2008/03/google-propose-un-gnrateur-de-fichier.html