Bing Search améliore l'indexation des pages par son robot Bingbot

Ce n’est un secret pour personne que lorsqu’on parle de référencement internet, on se concentre tous sur le positionnement sur Google Search. En raison de ses plus 90% de part de marché de la recherche Web.

Bing Search rend son robot d’indexation Bingbot plus performant

Et pourtant, le référencement Bing est une réalité dont il faut tenir compte pour s’assurer une diversité dans le trafic organique.

Le robot de recherche de Bing, appelé Bingbot, a été récement amélioré pour maximiser l'efficacité de l'analyse.

Bingbot, comme on pourrait le supposer, est similaire à Googlebot pour la recherche Google. Son travail consiste à découvrir le contenu nouveau et mis à jour et de l'ajouter à l'index de Bing.

Une des préoccupations des webmasters à propos de Bingbot est le fait que ce robot semble paresseux, car ils lui reprochent de ne pas explorer (visiter) assez souvent les pages Web afin de les indexer plus rapidement.

Et en raison de ce fait de ne pas crawler assez souvent, certains propriétaires de sites estiment que le contenu dans l'index de Bing n'est pas aussi frais qu'il pourrait l'être.

D'autre part, il y a des propriétaires de sites qui estiment cependant que Bingbot parcourt trop souvent leurs sites, ce qui provoque des contraintes sur les ressources de leurs sites.

Pour Bing, il s’agit d’un problème d'ingénierie qui n'a pas encore été entièrement résolu.


C’est quoi Bingbot ?


Bingbot est le robot de Bing, parfois aussi appelé un “Spider”. L'analyse ou l’exploration est le processus par lequel Bingbot (ou tout autre robot) découvre les documents nouveaux et mis à jour ou le contenu à ajouter à l'index consultable de Bing.

Son objectif principal est de maintenir un index complet mis à jour avec du contenu frais.

Comme le précise Bing, Bingbot utilise un algorithme pour déterminer les sites à analyser, la fréquence et le nombre de pages à extraire de chaque site.

L'objectif est de minimiser l'encombrement d'analyse de Bingbot sur vos sites Web, tout en veillant à ce que le contenu le plus frais soit disponible.

Alors, comment procède-t-il ? Réponse de Bing dans son post :

Le processus algorithmique sélectionne les URL à analyser en hiérarchisant les URL pertinentes connues qui ne peuvent pas encore être indexées, et les URL qui ont déjà été indexées dont nous vérifions les mises à jour pour s'assurer que le contenu est toujours valide (par exemple pas de liens morts) et qu'il a pas changé.

Nous explorons également le contenu spécifiquement pour les liens pour découvrir de nouvelles URL qui n'ont pas encore été découvertes. Les Sitemaps et Flux RSS/Atom sont des exemples d'URL récupérées principalement pour découvrir de nouveaux liens.


Rendre Bingbot plus efficace


Le problème clé est la gestion de la fréquence à laquelle Bingbot doit analyser un site pour s'assurer que le contenu nouveau et mis à jour est inclus dans l'index de recherche.

Bingbot doit également répondre aux demandes des propriétaires de site.

Certains webmasters demandent que leurs sites soient analysés quotidiennement, bien que la majorité des webmasters préfèrent que leur site ne soit analysé que lorsque de nouvelles URL ont été ajoutées ou que le contenu a été mis à jour.

Ce que confirme Bing de Microsoft :

Le défi auquel nous sommes confrontés, est de savoir comment modéliser les algorithmes Bingbot en fonction de ce qu'un webmaster veut pour son site spécifique, la fréquence à laquelle le contenu est ajouté ou mis à jour, et comment le faire à l'échelle.


Mesurer et maximiser l'efficacité de l'analyse


Bing mesure l'intelligence de Bingbot à l'aide d'une métrique appelée “Efficacité d'analyse”, qui est la fréquence à laquelle Bing visite, analyse et découvre le contenu nouveau et frais par page analysée.

Idéalement, Bingbot n'analyserait une URL que lorsque le contenu a d'abord été ajouté au Web, ou lorsqu'une URL a été mise à jour avec un contenu frais et utile.

L'efficacité de l'analyse est réduite lorsque Bingbot analyse des contenus dupliqués et/ou inchangés.


Ce que cela signifie pour les propriétaires de sites


Bing dit qu'il a amélioré l'efficacité d'analyse de Bingbot au cours des derniers mois.

Pour les propriétaires de sites, cela signifie que leur contenu nouveau et mis à jour devrait apparaître dans l'index de Bing en temps opportun. En tout cas, beaucoup plus rapidement qu’avant.

De plus, les ressources du site Web ne vont plus être pénalisées en raison de l'analyse Bingbot du contenu dupliqué ou du contenu qui n'a pas été modifié depuis la dernière analyse.

Bing dit donc avoir entendu ces webmasters qui se plaignaient du comportement de Bingbot. Il l’a donc amélioré pour sans doute encourager les webmasters à se pencher un tant soit peu sur le référencement sur Bing.