Une étude menée par la Pennsylvania State University, et nommée « Determining Bias to Search Engines from Robots.txt », sur les fichiers « robots.txt » de 7 500 sites web montre que les webmasters avantagent aujourd’hui fortement les spiders de Google. Ses robots (Googlebot) sont en effet listés bien plus souvent dans ces fichiers que ceux de ses concurrents.

Selon cette étude, 93,8% des fichiers…

Source et suite de l’article : http://actu.abondance.com/2007/11/fichiers-robotstxt-avantage-google.html