Quand le robots.txt dévoile ce qu’on vous cache

Trouvé le 7 février 2011 à 7:35 par - 1359 vues


Ah, les joies du référencement: un monde si particulier, avec ses codes, ses techniques, ses méthodes obscures, ses astuces du jour qui sont la solution à tous les maux…

Il est donc normal de mettre dans le robots.txt la liste des répertoires et pages qu’on ne veut pas que les moteurs lisent et encore moins indexent: fichiers d’admin, répertoire cgi-bin, dossiers de mise en cache, etc.

Et bien sûr les pages spécifiques qu’on veut cacher au monde…
SI l’on prend le cas de L’Internaute, le site publie des critiques, des commentaires, des communiqués. Certains sont ensuite supprimés. Vous en voulez la liste ? Regardez le robots.txt du site

Source et article complet : http://www.gourous-du-net.com/2011/01/28/le-referencement-devoile-ce-quon-vous-cache/


<- Actualité précédente: Mise à jour des mots-clés sur Google Webmaster Tools
->Actualité suivante: Le top blog SEO de Wikio, toujours pertinent ?

Publié dans Actualités référencement / SEO, Gourous du Net |

Découvrez les articles sur le même thème