L’utilité du fichier robots.txt
Trouvé le 22 février 2010 à 9:52 par s2m - 603 vues
Il est possible de s’adresser à ces robots, non pas pour faire connaissance autour d’un café mais pour leur indiquer de ne pas accéder à des pages Web de votre site/blog. Il existe bien sûr d’autres moyens pour ne pas leur autoriser l’accès : fichier .htaccess, balise Meta noindex. Toutefois, tous les robots n’interprètent pas de la même manière ce que vous leur indiquez…
Source et suite de l’article : http://www.ya-graphic.com/2010/02/fichier-robots-txt-bloquer-pages-web-indiquer-sitemap/
Publié dans Techniques et Conseils, Ya Graphic | Réagir »
Sélection d'articles sur le même thème
- Les sitemaps XML : retour sur les fondamentaux - 549 vues
- Indexation : attention aux barres d’outils de Bing et Google - 1500 vues
- Attention au noindex, nofollow - 1051 vues
- Robots.txt vs Rel=Nofollow vs Meta Robots Nofollow - 690 vues
- Gérer les accès au fichier Robots.txt pour votre site web - 549 vues
- Les bienfaits du CSS pour SEO - 1111 vues
- Soumission auto de Sitemap au Top 5 des moteurs de recherche - 911 vues
- L’attribut rel author, facteur de ranking chez Google - 456 vues