Le fichier robots.txt est connu, non pas pour améliorer votre référencement, mais pour indiquer aux robots des pages ou dossiers à ne pas explorer.
Mais, il arrive parfois, notamment lors de mises à jour importantes, qu'on refuse momentanément l'accès du site aux robots. Et qu'on oublie après la période de maintenance de supprimer cette interdiction d'accès.
Il arrive aussi que, pour des raisons inconnues, vous receviez un message de Google Webmaster Tools vous indiquant que Googlebot ne peut accéder à votre fichier Robots.txt. Alors que tout allait pourtant bien jusqu'à ce message. Pourquoi un tel message ?
Une fois de plus, le fichier robots.txt n'est pas obligatoire. Mais, si vous en avez à la racine de votre site, Googlebot devrait pouvoir y accéder. Et s'il ne peut pas visiter votre robots.txt, alors c'est tout votre site en entier qui ne sera plus exploré, ni indexé par Googlebot.
C'est l'explication fournie par Eric Kuan, Googler, sur le forum d'aide des webmasters de Google :
If Google is having trouble crawling your robots.txt file, it will stop crawling the rest of your site to prevent it from crawling pages that have been blocked by the robots.txt file. If this isn't happening frequently, then it's probably a one off issue you won't need to worry about. If it's happening frequently or if you're worried, you should consider contacting your hosting or service provider to see if they encountered any issues on the date that you saw the crawl error.
En d'autres termes, si Googlebot se trouve empêché d'explorer votre fichier robots.txt, il arrêtera immédiatement de crawler le reste du site afin d'éviter d'explorer des pages dont vous auriez pu lui interdire l'accès dans votre fichier robots.txt.
Si ce blocage n'intervient pas régulièrement à chaque visite de Googlebot, vous ne devez pas vous inquiéter outre mesure. Par contre, si le blocage est régulier (à votre insu), vous devez contacter votre service d'hébergement pour savoir si le serveur connaît quelques difficultés techniques qui empêche Googlebot de visiter le serveur.
