La fréquence du crawl d’un moteur de recherche est un élément à prendre en compte lors du référencement d’un site web ou d’un ensemble de pages web. En effet, si celle-ci est quasi inexistante, cela risque de prendre beaucoup plus de temps avant d’indexer les contenus, et surtout, avant de les évaluer. Ce post, sous la forme d’un mémo, va juste rappeler quelques bons points à suivre..
Source: http://blog.ramenos.net/referencement/6-moyens-pour-augmenter-la-frequence-de-crawl-sur-un-site/