Jusqu’à présent, Google permettait au webmaster de choisir entre 2 niveaux de vitesse de crawl (parfois un 3ème niveau était accessible). L’objectif est de demander au robot Googlebot de venir plus ou moins souvent sur le site, en fonction de la charge du serveur. Google vient d’annoncer que le réglage de la vitesse d’exploration est désormais plus fin.

Source et suite de l’article : http://www.webrankinfo.com/actualites/200812-vitesse-exploration-google.htm