Microsoft a annoncé hier sur son blog officiel dédié au moteur de recherche Live Search un certain nombre de nouvelles fonctionnalités sur son spider, qui devraient lui permettre de mieux indexer les sites web qu’il parcourt.

- Compression HTTP, augmentant la vitesse de « crawl » et la bande passante utilisée sur le serveur visité (RFC 2616 sections 14.11 and 14.39).

- Crawl conditionnel …

Source et suite de l’article : http://actu.abondance.com/2008/02/nouveauts-pour-le-spider-de-live-search.html