L'éditeur a déclaré qu'il avait ajouté une balise “noindex”, mais la page est restée dans l'index de Google. John Mueller a répondu avec une réponse qui décrivait la fréquence à laquelle certaines pages sont indexées par Google.
John Mueller a révélé que les URL sont explorées à des taux de fréquence différents. Ce qui fait que certaines URL peuvent être explorées aussi peu qu'une fois tous les 6 mois.
L'éditeur a déclaré :
Nous voyons des choses qui datent d'il y a longtemps, où nous avons mis le nofollow noindex, mais nous continuons toujours de les voir dans l'index.
Et cela fait pourtant plusieurs mois que nous avons changé cela.
Voici la réponse de John Mueller retranscrite par Searchenginejournal :
Je pense que la partie la plus difficile ici est que nous n'explorons pas les URL avec la même fréquence tout le temps.
Donc, quelques URLs seront explorées quotidiennement. D’autres le seront peut-être hebdomadairement. Et d'autres encore tous les 2 mois, peut-être même une fois tous les 6 mois.
Par conséquent, c'est quelque chose où nous essayons de trouver le bon équilibre pour faire en sorte de ne pas surcharger votre serveur.
Et si vous avez fait des changements significatifs sur votre site Web, alors probablement beaucoup de ces changements seront crawlés assez rapidement, mais il y aura quelques restes.
Aussi, si vous faîtes des requêtes concernant votre site, alors il y a des chances que vous voyez ces URL qui ne sont explorées qu’une fois tous les 6 mois. Elles seront toujours là après quelques mois.
Et c'est en quelque sorte un peu... le temps normal pour nous de procéder à nouveau ou re-explorer les pages. Donc ce n'est pas forcément un signe que quelque chose est techniquement complètement anormale.
Mais cela signifie que si vous pensez que ces URL n’ont vraiment pas toutes été indexées, alors peut-être que vous pouvez proposer un fichier sitemap avec la date de la dernière modification, de sorte que Google essaie de les double-vérifier un peu plus vite que pas du tout.
John Mueller a suggéré de mettre à jour le plan du site et de laisser Googlebot découvrir la dernière date de modification afin de l'utiliser comme une occasion pour lui d'explorer les anciennes pages Web.
Outil d'inspection d’URL de Google
Quelque chose que John Mueller n'a pas mentionné dans sa réponse est d’utiliser l'outil d'inspection d'URL de Google.
Selon la page d'aide de la Search Console :
Vous pouvez demander qu'une URL inspectée soit explorée par Google. L'indexation peut prendre jusqu'à une ou deux semaines. Vous pouvez vérifier la progression à l'aide de cet outil.
Pour demander l'indexation, sélectionnez “Demander une indexation” dans le rapport. Si la page passe l'étape de vérification rapide recherchant les erreurs d'indexation immédiates, elle est envoyée à la file d'attente d'indexation.
Si la page est considérée comme non indexable dans le test en direct, vous ne pouvez pas en demander l'indexation.
L'outil d'inspection d'URL est utile si vous avez quelques URLs individuelles qui nécessitent une nouvelle analyse. Si vous avez une grande quantité de pages Web, Google recommande de soumettre un plan de site à la place.
