Ah, les joies du référencement: un monde si particulier, avec ses codes, ses techniques, ses méthodes obscures, ses astuces du jour qui sont la solution à tous les maux…

Il est donc normal de mettre dans le robots.txt la liste des répertoires et pages qu’on ne veut pas que les moteurs lisent et encore moins indexent: fichiers d’admin, répertoire cgi-bin, dossiers de mise en cache, etc.

Et bien sûr les pages spécifiques qu’on veut cacher au monde…
SI l’on prend le cas de L’Internaute, le site publie des critiques, des commentaires, des communiqués. Certains sont ensuite supprimés. Vous en voulez la liste ? Regardez le robots.txt du site…

Source et article complet : http://www.gourous-du-net.com/2011/01/28/le-referencement-devoile-ce-quon-vous-cache/