Article

17 février 2021
Neper

Attention au contenu du robots.txt

Le fichier robots.txt fait partie du quotidien du site web depuis 1994. Au départ c’était une initiative de Martijn Koster. Et c’est devenu un standard de fait.

Au fil des ans, les propriétaires de site ont pris de mauvaises habitudes concernant le contenu du fichier robots.txt. Google a longtemps contribué à la confusion en s’éloignant des standards initiaux et en supportant de manière officielle ou non certaines syntaxes qu’ils étaient les seuls à savoir interpréter.

Mais Google a finalement décidé de revenir au respect des standards, et certaines syntaxes ne fonctionnent plus.

Faisons le point sur ces changements et sur les points d’attention concernant le contenu du robots.txt. Car les erreurs de rédaction dans ce fichier ne pardonnent pas !

https://www.neper.fr/2021/02/10/tip-attention-au-contenu-du-robots-txt/

Trouver un article

Les 10 derniers articles

La mort de Google : une chute orchestrée en interne ?Meta AI : l’assistant intègre désormais les résultats de recherche de Google et BingGoossips SEO : Code 503, hébergeur, tirets, sites multiples, API d’indexationEtude : les organic shopping grids de Google en croissance sur les requêtes commercialesQu’est-ce qu’un lien toxique (link spam) pour Google ?Google : le traitement des liens sur des pages « noindex, follow » n’est pas garantiGoogle met fin au support des données structurées pour le carrousel vidéoLe SEA impacte-t-il le SEO ? (partie 2)Les formes courantes de spam dans la recherche GoogleComment les Core Updates modifient-ils subtilement l’intention de l’utilisateur ?