L’utilité du fichier robots.txt
Trouvé le 22 février 2010 à 9:52 par s2m - 578 vues
Il est possible de s’adresser à ces robots, non pas pour faire connaissance autour d’un café mais pour leur indiquer de ne pas accéder à des pages Web de votre site/blog. Il existe bien sûr d’autres moyens pour ne pas leur autoriser l’accès : fichier .htaccess, balise Meta noindex. Toutefois, tous les robots n’interprètent pas de la même manière ce que vous leur indiquez…
Source et suite de l’article : http://www.ya-graphic.com/2010/02/fichier-robots-txt-bloquer-pages-web-indiquer-sitemap/
Publié dans Techniques et Conseils, Ya Graphic | 1 commentaire »
Sélection d'articles sur le même thème
- Les sitemaps XML : retour sur les fondamentaux - 469 vues
- Attention au noindex, nofollow - 1005 vues
- Robots.txt vs Rel=Nofollow vs Meta Robots Nofollow - 659 vues
- Gérer les accès au fichier Robots.txt pour votre site web - 529 vues
- Les bienfaits du CSS pour SEO - 1033 vues
- Soumission auto de Sitemap au Top 5 des moteurs de recherche - 861 vues
- L’attribut rel author, facteur de ranking chez Google - 432 vues
- Créer un fichier Sitemap pour Google Actualités - 584 vues
[...] Détails L’utilité du fichier robots.txt: L’utilité du fichier robots.txt [...]