Phénomène très surprenant depuis quelques heures : Googlebot est en grève !

Le principal boulot d’un moteur de recherche, c’est de crawler le web.

Et bien… depuis quelques heures, Google a (presque) arrêté de le faire.

C’est @Lagiirafe qui m’a mis la puce à l’oreille sur Twitter

N’ayant pas constaté le problème sur les données de la veille, j’ai fait quelques investigations, et effectivement…

Le constat est sans appel !

Cliquer pour agrandir

Habituellement, le volume de crawl du site est assez linéaire. Le 11 octobre, on constate un net fléchissement à partir de 13h. Fléchissement qui devient quasi-interruption avec une activité Googlebot 500 fois inférieur à la normale.

Quelques réactions sur Twitter, mais sans plus…

J’ai pu vérifier ce phénomène sur des sites de différentes volumétries, sur des hébergements différents. Des confrères m’ont confirmé les mêmes observations.

Il y a quelques semaines, nous avions déjà été plusieurs à constater une activité Googlebot à la baisse, mais pas dans ces proportions…

Tout moteur de recherche a besoin de crawler constamment le web, sous peine de dégrader très rapidement son index, cette interruption ne peut donc être que temporaire.

On peut émettre plusieurs hypothèses :

  • Une panne : ça arrive même aux meilleurs (on l’a vu pour Facebook hier, inaccessible pendant plusieurs heures)
  • Une modification d’infrastructure, réduisant temporairement les ressources disponibles
  • Une mise à jour du crawler
  • Une affectation des ressources pour autre chose : calcul d’un nouvel algo par exemple…
Quelque-chose me dit qu’on aura des infos très bientôt ;-)