Il s’agit du problème relatif au robots.txt car le webmaster s’étonne du fait que malgré l’interdiction dans robots.txt de crawler certaines pages, elles apparaissent quand même dans les résultats de recherche de Google alors que MSN respecte l’interdiction.

GoogleGuy explique :
« Si une page est dans robots.txt, nous n’allons pas la crawler, mais nous pouvons l’afficher dans les résultats de recherche si nous avons des raisons de penser qu’elle est pertinente par rapport à la requête. Dans ce cas, nous n’afficherons que l’URL (pas de titre, pas de description et pas de cache).
Voici un bon exemple : pendant longtemps, le California Department of Motor Vehicles (DMV) avait un robots.txt qui ne laissait pas les moteurs crawler les pages. Seulement, pour une recherche comme « california dmv » nous pouvions retourner une URL, même si nous ne pouvions crawler la page.
Si tu ne veux pas que la page apparaissent du tout, tu peux le garantir en laissant Google voir la meta tag « noindex » lors du crawl.
Pour les curieux, nous avons réussi à convaincre DMV de laisser les moteurs crawler leur site, mais nous avons du prendre un rendez-vous et nous avons fait la queue pendant un moment. ;-)

Source: http://googleguy-fr.blogspot.com/2004/09/ce-que-jaime-mieux-propos-de-msn.html