Fichiers robots.txt : avantage Google
Publié le 16 novembre 2007 - 65 vue(s) -
Une étude menée par la Pennsylvania State University, et nommée "Determining Bias to Search Engines from Robots.txt", sur les fichiers "robots.txt" de 7 500 sites web montre que les webmasters avantagent aujourd'hui fortement les spiders de Google. Ses robots (Googlebot) sont en effet listés bien plus souvent dans ces fichiers que ceux de ses concurrents.
Selon cette étude, 93,8% des fichiers...
Source et suite de l'article : http://actu.abondance.com/2007/11/fichiers-robotstxt-avantage-google.html
Selon cette étude, 93,8% des fichiers...
Source et suite de l'article : http://actu.abondance.com/2007/11/fichiers-robotstxt-avantage-google.html
Publié dans Archives |