Google n’arrive pas à lire le fichier robots.txt d’un site dans 26% des cas

Trouvé le 14 novembre 2019 à 7:15 par - 540 vues


Lorsque les robots de Google tente de crawler un site web, ils vont au préalable lire le fichier robots.txt pour voir les zones du site qui leur sont interdites. Or, Google a dernièrement indiqué que dans un quart des cas (ce qui est énorme), il n’arrivait pas à lire ce fichier alors qu’il existait pourtant. Résultat : aucun crawl ne s’effectue sur le site…

Google n’arrive pas à lire le fichier robots.txt d’un site dans 26% des cas


<- Actualité précédente: Quel est l’impact de la recherche vocale sur le référencement naturel (SEO) ?
->Actualité suivante: Google répète qu’il n’utilise pas de critères sur le comportement des internautes (UX) dans son algorithme

Publié dans Abondance |

Découvrez les articles sur le même thème