Google et le Noindex dans le fichier robots.txt
Trouvé le 26 novembre 2007 à 8:23 par s2m - 579 vues
Un internaute vient de découvrir que Google prenait en compte une directive nommée « noindex » lorsqu’elle était insérée dans le fichier « robots.txt » d’un site, comme par exemple :
User-agent:Googlebot
Disallow:/perso/
Disallow:/entravaux/
Noindex:/clients/
Alors que la directive « Disallow » indique aux robots de ne pas tenir compte du contenu d’un répertoire…
Source et suite de l’article : http://actu.abondance.com/2007/11/google-teste-la-directive-noindex-dans.html
Publié dans Archives | Réagir »
Sélection d'articles sur le même thème
- Del.icio.us bloque les moteurs - 680 vues
- Google analyse votre fichier robots.txt - 646 vues
- Yahoo! propose une nouvelle balise pour référenceurs - 487 vues
- Google propose un générateur de fichier robots.txt - 335 vues
- Google, MSN et Yahoo! luttent contre le spam - 157 vues
- Fichiers robots.txt : avantage Google - 560 vues
- La Maison Blanche bientôt délistée des moteurs de recherche ? - 622 vues
- La classe « robots-nocontent » est-elle pertinente ? - 207 vues