Crawler un site web, qu’est-ce que c’est ?

Les moteurs de recherche envoient de petits robots (autrement dit, des petits programmes informatiques) sur tous les sites qui composent la toile. Les bots entrent et parcourent les sites via les liens qu’ils trouvent sur leur passage.

Un crawler, ou logiciel de crawl, est fondé sur le même principe, à la différence qu’il n’est pas commandé par Google, mais par nous, éditeurs de sites ou référenceurs. 🤗

L’objectif d’un crawler est de détecter les différentes anomalies structurelles d’un site mais aussi d’évaluer ses performances, ses liens entrants, etc.

Ces données constituent une mine d’informations pour tous les propriétaires de sites !

Je vous détaille les différents types de robots crawler et leurs intérêts. 👇

Lire l’article