Lorsqu’on parle d’améliorer les performances de son site, on pense souvent à améliorer ses templates HTML, simplifier les fichiers CSS, réduire le poids des images et optimiser les fonctions Javascript.

Néanmoins, en parallèle, vous pouvez effectuer un autre travail loin d’être inutile : analyser les robots qui viennent envahir vos serveurs et gaspiller de la bande passante…

Source et article complet : http://blog.ramenos.net/referencement/combattre-linvasion-des-crawlers-pour-ameliorer-la-performance-de-ses-serveurs/