Google recrute environ 10.000 de ces évaluateurs à travers le monde, et alors qu'ils ne peuvent pas impacter directement les résultats de recherche, leurs opinions aident l'équipe de recherche de Google à évaluer si un changement d’algorithme donné devrait être validé ou pas.
Les évaluateurs voient généralement les résultats anciens et nouveaux côte à côte, et déterminent lesquels sont meilleurs.
“Meilleurs” n'est pas un terme purement subjectif. Il est défini par un document publié relatant les lignes directrices des évaluateurs de la qualité de la recherche (search quality rater guidelines) qui décrit comment les évaluateurs devraient juger une page qui apparaît dans leurs résultats.
Une attention particulière est portée à l'expertise, à l'autorité et à la fiabilité d'une page.
Ben Gomes, Vice-Président du Search chez Google, déclare à ce sujet à CNBC :
Vous pouvez voir les guidelines des Raters (document complet ici) comme dans quel sens nous voulons que l'algorithme de recherche aille.
Ils ne vous disent pas comment l'algorithme classe les résultats, mais ils montrent fondamentalement ce que l'algorithme doit faire.
Au mois de Juillet 2018, Google a apporté quelques modifications significatives aux Guidelines des Evaluateurs qui, entre autres choses, requiert des évaluateurs de tenir compte de la réputation de l'auteur d'une page.
En conséquence, les pages sans auteur clair peuvent maintenant être classées comme étant de qualité inférieure.
En 2017, Google a effectué 31.584 expériences côte-à-côte avec ses évaluateurs et a aussi effectué 2.453 modifications de recherche.
Google Updates trough time - algorithmic and infrastructure:— Pedro Dias (@pedrodias) 7 novembre 2017
2010/2011: ~500 updates;
2011/2012: ~500 updates;
2012/2013: ~665 updates;
2013/2014: ~890 updates;
2014/2015: ~1000 updates;
2016/2017: ~1600 updates;
Bien que les changements peuvent avoir des effets énormes sur la façon dont un site Web donné est classé, et donc le nombre de personnes qui le voit, les utilisateurs réguliers de Google Search ne remarquent pas souvent les changements.
Au cours de la réunion à laquelle CNBC a assisté, l'équipe de Google Search avait testé un nouveau format pour les recherches mobiles qui afficherait une image d'une page Web à côté de son lien. L'hypothèse était qu’une image comme celle ci-dessous aiderait les utilisateurs à mieux déterminer quel lien les amène à la page la plus pertinente par rapport à ce qu’ils cherchaient.
 |
| Source : CNBC.com |
Google n’a pas révélé le nombre de requêtes qu'il a montré aux évaluateurs ou aux utilisateurs réels, mais il a dit qu'il était suffisant pour obtenir des “statistiques significatives”.
Pour les expériences côte-à-côte (affichage d’une page de résultats actuelle à côté d’une page de résultats après changement d’algo) pour les évaluateurs, cela signifie généralement des centaines de requêtes par chacun d'eux.
Dans ce cas, l'évaluation des Raters de Google a demandé aux gens s'ils pensaient que les images ajoutées à côté des liens les ont aidés à comprendre les résultats.
L'équipe Google Search a parcouru divers points de données, comme ce pourcentage d'utilisateurs qui a cliqué sur un lien avec image, avant de rapidement cliqué sur le bouton “Retour” du navigateur (un mauvais signe), ou si il y avait une augmentation significative dans le temps jusqu'à ce qu'ils aient fait leur première interaction avec les résultats (mauvais signe aussi).
Ils ont montré quelques exemples de requêtes où les photos n'étaient pas utiles. Les résultats de "Pomona College", par exemple, fournissaient des photos génériques d'étudiants.
Cependant, les données ont finalement montré que 91% du temps, les évaluateurs ont constaté que les résultats avec des images étaient utiles.
Dans l'expérience en direct, les utilisateurs réels ont cliqué sur les images, aussi. Prenant appui sur la rétroaction positive contre une légère augmentation de la latence (combien de temps il a fallu à la page de résultats pour se charger), Google a approuvé le changement d’algorithme, avant de préciser :
Pour tout changement, la question est toujours, sur l'équilibre, est-il plus utile ou pas ?1ère partie de cet article : Comment fonctionne Google Search pour afficher les résultats 1/3
Nous avons un processus rigoureux pour tester les choses. Et nous sommes vraiment orientés par des métriques. C'est le coeur de la façon dont nous opérons.
3ème partie de cet article : Comment Google gère son algorithme de recherche 3/3
