Il est bien connu qu’un site web vivant est un site qui est souvent mis à jour, et donc amélioré au fil du temps.
Pour ce faire, un webmaster peut vouloir tester un script ou un widget sans que celui-ci ne soit rapidement indexé par GoogleBot.
Le cas traité récemment par John Mueller dans le forum des webmasters concerne le site d’un webmaster qui se plaint du fait que son site ait disparu depuis un certain temps des pages de résultats de Google.
Un site sur lequel le webmaster reconnaît avoir effectué de nombreuses mises à jours ces derniers temps.
C’est alors que John Mueller répond pour expliquer, qu’en pareille situation, il existe plusieurs possibilités pour bloquer GoogleBot afin de l’empêcher d’indexer une page spécifique. Cependant, la technique à mettre en place pourrait dépendre de la période pendant laquelle vous mettez ce blocage en place.
Voici les conseils de John Mueller rapportés par Barry Schwartz :
- Si vous ne voulez pas que le contenu soit indexé, notamment lorsque vous voulez faire des tests, vous pouvez vous servir de votre fichier robots.txt pour indiquer à GoogleBot le fichier à ne pas indexer.
- Si le contenu mis en place est vraiment temporaire, vous pouvez aussi utiliser le code réponse HTTP 503 (site en mode maintenance avec HTTP 503).
- Si vous utilisez un serveur intermédiaire et que vous ne voulez pas que les tests soient indexés, limiter l'accès aux adresses IP des testeurs ou utiliser l’authentification côté serveur serait une bonne approche aussi.
Toutefois, John Mueller déconseille formellement de faire des allers-retours incessants pour un même contenu entre toutes ces différentes techniques de blocage. Au risque de perturber ou désorienter GoogleBot.
Et John Mueller de poursuivre :
One thing I'd try to avoid is quickly fluctuating back & forth. Removing content from search, and then bringing it back can sometimes result in us not recrawling as quickly as you'd like, and it therefore taking a bit longer for the pages to come back into search. If you can avoid that by running your tests (for example) on a separate site that's not indexed, that's generally preferred. Of course, if you're looking to remove something permanently, that's less of an issue.
En d’autres termes :
“...Supprimer le contenu de la recherche et puis le ramener peu parfois se traduire pour nous (Google, NDLR) de ne pas l’indexer aussi vite que vous le souhaitez et cela pourrait prendre un peu plus de temps pour que les pages reviennent dans les pages de résultats.
Si vous pouvez éviter cela en effectuant vos tests, par exemple, sur un site distinct qui n'est pas indexé par Google, ce serait préférable. “
