L'efficacité de l'exploration et de l'indexation de votre site par GoogleBot dépend de plusieurs signaux dont deux semblent beaucoup compter pour Google.
C'est ce que vient d'expliquer +Gary Illyes, membre de l'équipe Google's Webmaster Trends Analyst, lors du SMX East de New York qui se termine aujourd'hui. Selon lui, Google disposent de 2 moyens techniques pour déterminer si GoogleBot, son robot d'exploration et d'indexation, devrait ralentir ou arrêter son analyse d'un site web.
En effet, l'un des facteurs les plus importants du référencement web consiste à s'assurer d'abord que les robots des moteurs de recherche peuvent accéder à vos pages web. Si ils ne peuvent pas accéder à vos pages web, alors vous traverserez probablement une période difficile de classement dans les résultats de recherche.
Google a déjà dit qu'il utilisait de nombreux signaux pour déterminer si GoogleBot doit arrêter l'exploration de votre site Internet, en dehors des signaux évidents tels que la balise meta "noindex", l'attribut "nofollow" ainsi que le fichier "robots.txt".
Selon +Gary Illyes, les 2 signaux suivants sont les signaux d'exploration très importants pour Google :
- Délai de connexion au serveur : Google fera attention au temps qu'il met pour se connecter au serveur d'hébergement et à la page désirée.
Si ce temps de connexion s'allonge indéfiniment, GoogleBot va reculer et ralentir ou arrêter l'exploration de vos pages web qui pourraient alors
ne pas être indexées lors de ce passage.
Si Google décide de faire machine arrière, c'est pour ne pas faire chuter votre serveur (down). Cependant, il utilisera votre délai de connexion comme facteur d'exploration et d'indexation de votre site.
- Les codes de statut HTTP des serveurs : Google va également arrêter ou ralentir son exploration quand il obtient des codes de statut serveur dans la classe
des 500 (500 à 520).
Les codes d'erreur 5xx du serveur signifient souvent qu'il y a en général des problèmes internes au serveur qui ne répond pas. Alors, quand Google reçoit ce type de codes d'erreurs serveur, il fait aussi machine arrière pour ne pas en rajouter aux problèmes techniques actuels du serveur.
Dans les deux cas, GoogleBot reviendra plus tard (Quand ?). Mais, dans l'immédiat il recule quand il voit que ces deux signaux sont à l'origine d'ennuis sur votre serveur.
