Alors que la plupart des sites ne se compliquent pas la vie (ils n'ont même pas de fichier robots.txt!), trouver les directives qui, au sein d'un grand fichier robots.txt, bloquent des URLs individuelles n'est pas chose aisée.
Et c'est pour faciliter la tâche des webmasters que Google propose désormais un nouvel outil pour les tester dans les Webmaster Tools à la section Exploration -> Outil de test du fichier robots.txt .
Dans cet outil, vous verrez le fichier robots.txt actuel avec le nombre d'erreurs et le nombre d'avertissements et vous pourrez tester de nouvelles URL pour voir si elles sont rejetées pour l'analyse par Googlebot. Il faut dire que l'outil surligne d'avance les directives qui constituent des erreurs en rouge et celles qui reçoivent un avertissement en jaune.
Vous pourrez apporter des modifications dans votre fichier robots.txt directement depuis cet outil et les tester ensuite pour voir le résultat. Ce qui ne veut pas dire que vous ne devez pas télécharger le fichier corrigé sur votre serveur.
Google propose aussi dans cet outil un onglet avec les dates des anciennes versions connues de Googlebot que vous pourrez visualiser à nouveau. Afin de découvrir d'où provient le blocage mentionné dans l'outil.
