Google complète sa documentation sur le standard robots.txt

Pendant très longtemps, Google n’a pas réellement montré le meilleur exemple concernant sa gestion du « standard » robots.txt. Ils ont notamment supporté des fonctionnalités « made in Google » absolument pas supportées par les autres moteurs : comme les caractères joker dans les urls, ou les directives noindex.

Puis Gary Illyes s’est saisi du problème, et a pris le lead chez Google mais aussi pour l’ensemble des moteurs pour revisiter le concept du robots.txt pour en faire véritablement un standard, respecté par tout le monde, y compris dans la manière d’analyser le contenu des robots.txt…