Googlebot utilise votre moteur de recherche interne pour découvrir des pages

Si cette affirmation ou confirmation (c'est selon) ne venait pas de John Mueller, Webmaster Trends Analyst chez Google, on pourrait penser à un véritable canular. Et pourtant, c’est apparemment la réalité.

On connaît les capacités actuelles de Googlebot, le robot d’exploration et d’indexation de Google. On sait aujourd’hui qu'il il est capable d’explorer les fichiers JavaScript, d’accéder aux données des images trouvées, de trouver des liens là où n’aurez même pas pu imaginer, etc…


Googlebot utilise votre moteur de recherche interne pour découvrir des pages


Mais, jusqu’à maintenant, on ne pouvait pas encore imaginer une seule seconde que ce robot “fouineur” irait jusqu’à utiliser un moteur de recherche interne trouvé sur un site et s’en servir pour envoyer des requêtes.

Il fut un temps où Bingbot, le robot de Bing, avait été soupçonné d’utiliser cette technique pour saisir des requêtes dans le moteur de recherche de Google et ensuite parcourir les contenus à indexer en suivant les liens des résultats que Google affichait.

Mais, on était loin d’imaginer que Google puisse le faire sur des sites explorés pour découvrir du contenu.

Jusqu'à ce que la question suivante ait été posée à John Mueller lors d’un récent Hangout : “Google interroge-t-il les formulaires ?

Voici la réponse de John Mueller (vidéo 29:10) :




“Nous faisons cela dans certaines situations très particulières où nous pensons que cela ressemble à un formulaire de recherche, alors que nous ne recevons pas tout le contenu que nous soupçonnons être disponible sur ce site web.

Alors dans ce genre de situations, peut-être que nous allons essayer de chercher avec quelques mots clés du contenu existant pour voir si nous pouvons trouver plus de données et de pages.

Mais, c'est une situation vraiment rare…

Dans la pratique, ces champs de recherche ne nous conduisent pas à des contenus nouveaux ou intéressants. Mais, parfois, les moteurs de recherche nous orientent vers du contenu que nous ne pouvions pas trouver autrement, surtout s’il s’agit d’un site qui n’a pas de menu de navigation, ni de fichier sitemap.

Si nous voyons que la page d'accueil n'a juste qu'un moteur de recherche, et nous soupçonnons ce site d’avoir beaucoup de contenus mais que nous ne pouvons pas vraiment les atteindre lors de notre exploration, alors, c’est une situation dans laquelle notre algorithme pourrait dire : “eh bien, nous savons que ce site traite de tel sujet, entrons quelques mots clés pour voir ce que nous allons trouver.”