Fin de la légende sur le robots.txt

Le fichier robots.txt, connu des référenceurs depuis de nombreuses années, ne fait plus réellement partie des préoccupations de ces derniers. C’est vrai, depuis le temps qu’il existe, on sait déjà tout sur lui ! En théorie oui, mais dans les faits c’est une autre histoire. Voilà donc un article pour bien comprendre les objectifs et le fonctionnement du robots.txt.