Google n'indexe pas toutes les URL rencontrées durant son exploration

En dehors de tous les liens privés interdisant leur accès pour indexation, Gary Illyes de chez Google vient de faire une déclaration intéressante lors de la SMX Advanced de Seattle (2 et 3 Juin).

Google


Gary Illyes aurait laissé entendre que Google a accès à plus de 30 mille milliards d’URL (en anglais : 30 Trillion) sur le web. Un chiffre qui, selon Barry Schwartz, aurait déjà été révélé par Google en 2013.

Mais, poursuit Gary Illyes, Google n’a pas suffisamment de serveurs pour stocker toutes ces URL. En d’autres termes, ce n’est pas parce que Google connaît l’existence d’un lien pour l’avoir exploré qu’il va forcément l’indexer.

Pendant l’exploration de Googlebot, celui-ci déciderait alors si le contenu visité mérite d’être indexé ou pas.

S’en suit le LiveTweet ci-dessous qui rapporte les propros de Gary Illyes (alias @methode) en disant qu’il y a 30 mille milliards d’URL dans l’index de Google, mais ce dernier n’a pas les moyens de les stocker toutes.




Ce à quoi répond plus tard Gary Illyes par le Tweet ci-dessous pour indiquer que Google connaît l’existence de ce nombre d’URL mais qu’il ne peut effectivement pas les indexer toutes.




Bref, ce qu’il faut bien comprendre, c’est que Google ne va pas s’embêter à indexer des contenus qu’il juge complètement inutiles.

Je profite de l’occasion pour vous présenter cet autre LiveTweet ci-dessous:




Traduction du Tweet selon lequel Gary Illyes aurait aussi déclaré lors de cette même conférence que “lorsque Google avait supprimé l’Authorship des résultats de recherche, il n’a pas pour autant renoncé à l’Autorité des auteurs des contenus ainsi qu'à celle des Editeurs ou des Marques (Publishership).

Comprenne qui pourra…