Pas de crawl de votre site si le robots.txt n’est pas disponible

Trouvé le 6 janvier 2014 à 16:43 par - 1 653 vues


Un googler a indiqué sur un forum que, si le robot du moteur avait des soucis pour lire votre fichier robots.txt, le crawl du site s’arrêtait instantanément…

Source et article complet : http://www.abondance.com/actualites/20140106-13535-google-ne-crawle-pas-votre-site-si-votre-fichier-robots-txt-nest-pas-disponible.html


<- Actualité précédente: Réflexions et Prévisions e-marketing 2014
->Actualité suivante: Découvrez comment Rap Genius est sorti d’une pénalité de Google

Publié dans Abondance, Actualités Google, Actualités référencement / SEO |

Découvrez les articles sur le même thème