Robots.txt : un outil puissant parfois méconnu des SEO

Trouvé le 20 décembre 2013 à 15:29 par - 1 377 vues


Même si, à première vue, vous pensez connaître le fonctionnement de cet outil, découvrez cet article bien complet sur le fichier robots.txt.

Au sommaire :
– Différence entre crawl et indexation : les notions de crawl et indexation
– Robots.txt : un outil pour gérer le crawl (mais aussi… l’indexation)
– Possibilités offertes par le robots.txt : interdire ou autoriser le crawl d’une ressource, interdire l’indexation, déclarer des sitemaps
– La syntaxe : Documentation officielle, quelques exemples d’utilisation
– Et ça fonctionne vraiment ? Est-ce fiable ?
– Trucs & astuces sur le robots.txt
– Warnings et erreurs courantes

Source et article complet : http://www.nicemedia.fr/blog/articles-referencement/robots-txt-un-outil-puissant-et-meconnu-des-seo


<- Actualité précédente: Google prend ses aises avec la fiscalité française
->Actualité suivante: Des snippets images dans les résultats Google pour 2014 ?

Publié dans Sources diverses, Techniques et Conseils |

Découvrez les articles sur le même thème