L’utilité du fichier robots.txt

Il est possible de s’adresser à ces robots, non pas pour faire connaissance autour d’un café mais pour leur indiquer de ne pas accéder à des pages Web de votre site/blog. Il existe bien sûr d’autres moyens pour ne pas leur autoriser l’accès : fichier .htaccess, balise Meta noindex. Toutefois, tous les robots n’interprètent pas de la même manière ce que vous leur indiquez…

Source et suite de l’article : http://www.ya-graphic.com/2010/02/fichier-robots-txt-bloquer-pages-web-indiquer-sitemap/