Google n’arrive pas à lire le fichier robots.txt d’un site dans 26% des cas

Lorsque les robots de Google tente de crawler un site web, ils vont au préalable lire le fichier robots.txt pour voir les zones du site qui leur sont interdites. Or, Google a dernièrement indiqué que dans un quart des cas (ce qui est énorme), il n’arrivait pas à lire ce fichier alors qu’il existait pourtant. Résultat : aucun crawl ne s’effectue sur le site…

Google n’arrive pas à lire le fichier robots.txt d’un site dans 26% des cas