Le mouvement de grève n’aura finalement duré qu’une grosse journée.
Les bots ont commencé à évacuer leur lieu de travail jeudi vers 13h pour une quasi-interruption de service vers 22h.
Le mouvement a été particulièrement suivi vendredi avec un taux de gréviste > 95%.
Le travail a reprit samedi avec le service de 5h pour un retour à la normale vers 8h.
Cliquer pour agrandir
Plus sérieusement, ce phénomène est visible sur tous les sites que j’ai observé, avec cependant des variations sur l’ampleur de la chute.
Comme on le voit sur ces quelques captures, la baisse de crawl est flagrante que l’on soit sur des petites, moyennes ou grosses volumétries de pages.
Monitorant au quotidien le crawl de plusieurs sites, c’est pour ma part du jamais vu.
Je serais curieux de connaître l’impact en bande passante que cela à pu avoir pour de gros hébergeurs tel qu’OVH ou pour des points de peering. Selon les sources, Google représente entre 5 et 10% du trafic web mondial, une telle chute de l’activité de Googlebot a dût être particulièrement visible.
Il n’y a pas encore eu, à ma connaissance, de communication de Google, le mystère reste donc pour le moment entier !
En tout cas sur Franceix on a une trends de semaine assez normale :
https://www.franceix.net/page.php?MP=editorial&ST=section&op=page&artid=48
Effectivement, rien de vraiment notable.
La probabilité d’une mise à jour du crawl de GGBot est forte, qu’en penses-tu ?
C’est une hypothèse, mais ce serait étonnant que Google doive tout stopper pendant 24h pour mettre en prod une release…
Je confirme le même phénomène sur la même période à la fois dans gwt et dans les stats de passage des crawlers. À suivre
C’est clair que c’est du jamais vu une telle chose, mais par contre ce n’est pas impossible qu’on puisse revoir cela régulièrement à l’avenir…
Un mouvement de grève de 1 jour peut-être, mais aucun préavis par contre, c’est pas sympa pour les autres! :D
Autant Google est en transe ces derniers temps sur plein de trucs, autant là c’était vraiment pas le cas!
C’est un système de log de crawl des robots que tu as développé pour faire le premier graphe ?
Je n’ai pas sur mes outils habituels de monitoring heure par heure car je n’en vois pas trop l’utilité.
Donc j’ai fait un traitement spécifique pour cet article : parsing de log + graph sur Excel.