Aide-mémoire / Cheat Sheet sur le fichier robots.txt
Trouvé le 19 juin 2012 à 8:06 par Maxime - 1893 vues
Le site The Web Robots Pages considéré comme étant la documentation officielle sur le protocole d’exclusion des robots via le fichier robots.txt n’étant plus à jour depuis quelques années et de surcroît en anglais, il existe un site d’aide mémoire en français et à jour, toujours utile à garder sous le coude : robots-txt.com.
Le site robots-txt.com rassemble toutes les informations sur la mise en place d’un fichier robots.txt. Vous y trouverez par exemple des ressources spécifiques à certains moteurs de recherche, certains CMS ou encore des ressources dédiées à des implémentations techniques particulières (serveur HTTPS, sous-domaines, etc).
<- Actualité précédente: L’outil ultime pour le référencement
->Actualité suivante: Elaboration de contenus positifs en vue d’un regain de notoriété sur Internet
Publié dans Sources diverses, Techniques et Conseils |
Découvrez les articles sur le même thème
- 5 astuces pour bien référencer votre site d’artiste - ( 8 octobre 2018) - 167 vues
- Définition de Obfuscation de lien - ( 8 octobre 2018) - 434 vues
- Javascript : mettre en place du Lazy Loading facilement… - ( 20 novembre 2018) - 275 vues
- Adresse canonique d’un site web et redirections 301 - ( 6 novembre 2018) - 467 vues
- Audit SEO: Le Guide Complet (2018) - ( 10 octobre 2018) - 741 vues
- Extensions géographiques et SEO – Vidéo SEO - ( 30 octobre 2018) - 501 vues
- Définition de Googler - ( 3 octobre 2018) - 393 vues