Bing a annoncé un testeur amélioré du fichier robots.txt avec de nouvelles fonctionnalités qui améliorent les tests et le diagnostic du fichier robots.txt.
Le testeur de fichier Robots.txt de Bing Webmaster Tools répond à un besoin important parce que se tromper sur un robots.txt peut entraîner des résultats SEO inattendus. La production d’un fichier robot.txt parfait est essentielle et une priorité absolue pour le référencement.
Un fichier robots.txt est l’une des rares façons dont un éditeur dispose pour exercer un contrôle sur les moteurs de recherche.
Comme le dit Microsoft Bing, depuis l’aube de l’ère du moteur de recherche, les webmasters ont été à la recherche d’un outil fiable et efficace pour favoriser et contrôler leur relation avec les robots web/crawlers /spiders.
Alors que le protocole d’exclusion des robots donne le pouvoir d’informer les robots web et les crawlers quelles sections d’un site Web ne doivent pas être traitées ou scannées, le nombre croissant de moteurs de recherche et de paramètres ont forcé les webmasters à rechercher leur fichier robots.txt parmi les millions de dossiers sur leurs serveurs d’hébergement, les éditant sans conseils et enfin supprimant les Heads alors que le problème de ces crawler indésirables persiste encore.
C’est pourquoi Bing déclare dans son communiqué :
Chez Bing, nous comprenons cette frustration de nos utilisateurs et nous avons donc mis à jour notre nouvel outil Testeur de robots.txt amélioré.
Le testeur de robots.txt aide les webmasters non seulement à analyser leur fichier robots.txt et à mettre en évidence les problèmes qui les empêcheraient d’être crawlés de manière optimale par Bing et d’autres robots; mais, les guide également étape par étape de la récupération du dernier fichier au téléchargement du même fichier à l’adresse appropriée.
Les webmasters peuvent soumettre une URL à l’outil de test de robots.txt et il fonctionne comme Bingbot et BingAdsBot, pour vérifier le fichier robots.txt et vérifier si l’URL a été autorisée ou bloquée en conséquence.
Non seulement cela, mais la fonctionnalité de test vérifie l’URL que nous avons soumis par rapport au contenu de l’éditeur et donc, une fois que les modifications sont apportées dans l’éditeur, vous pouvez facilement et instantanément retester l’URL pour vérifier les erreurs.
Le système vérifie les instructions autoriser/bloquer pour les agents utilisateurs respectifs et affiche le fichier robots.txt dans l’éditeur avec 4 variantes, c’est-à-dire :
- http://
- https://
- http://www
- https://www
Le webmaster peut modifier le fichier txt et/ou télécharger le même pour être mis à jour hors connexion. S’il y a eu des modifications au fichier robots ailleurs et mis à jour, le webmaster peut utiliser la dernière option Fetch pour obtenir le dernier fichier robots de la propriété.
L’option de téléchargement fournit un processus étape par étape de mise à jour du fichier qui comprend le téléchargement du fichier modifié, le téléchargement du même sur la racine des domaines qui peut être vérifié pour une version en direct et enfin demander à Bing de mettre à jour le même.
Source : Microsoft Bing
