Phénomène très surprenant depuis quelques heures : Googlebot est en grève !
Le principal boulot d’un moteur de recherche, c’est de crawler le web.
Et bien… depuis quelques heures, Google a (presque) arrêté de le faire.
C’est @Lagiirafe qui m’a mis la puce à l’oreille sur Twitter
N’ayant pas constaté le problème sur les données de la veille, j’ai fait quelques investigations, et effectivement…
Le constat est sans appel !
Cliquer pour agrandir
Habituellement, le volume de crawl du site est assez linéaire. Le 11 octobre, on constate un net fléchissement à partir de 13h. Fléchissement qui devient quasi-interruption avec une activité Googlebot 500 fois inférieur à la normale.
Quelques réactions sur Twitter, mais sans plus…
J’ai pu vérifier ce phénomène sur des sites de différentes volumétries, sur des hébergements différents. Des confrères m’ont confirmé les mêmes observations.
Il y a quelques semaines, nous avions déjà été plusieurs à constater une activité Googlebot à la baisse, mais pas dans ces proportions…
Tout moteur de recherche a besoin de crawler constamment le web, sous peine de dégrader très rapidement son index, cette interruption ne peut donc être que temporaire.
On peut émettre plusieurs hypothèses :
- Une panne : ça arrive même aux meilleurs (on l’a vu pour Facebook hier, inaccessible pendant plusieurs heures)
- Une modification d’infrastructure, réduisant temporairement les ressources disponibles
- Une mise à jour du crawler
- Une affectation des ressources pour autre chose : calcul d’un nouvel algo par exemple…
moi j’ai une autre explication, googlebot avait envie de s’amuser alors il est parti picoler un coup avec celui de volunia, qui lui est en pleine dépression, mais il reviendra bosser quand sa gueule de bois sera partie :D
Effectivement, j’ai soumis hier mon site, et l’ai indéxé à différent endroits.. toujours aucune trace sur Google.
A croire qu’il est parti se dorer la pilule sous les cocotiers :)
Oui effectivement, c’est plutôt rare que les robots de Google chutent du jour au lendemain. Que Google nous prépare t-il ? Une nouvelle mise à jour de son algo ? Bizarre car les MAJs Pingouin et Panda ont eu lieu il y a seulement quelques jours… On va très vite être fixé !!
pas de changement du rythme sur nos sites.
par contre, c’est peut-être une question de rafraîchissement dans les GWT
Oui, il y a environ 48h de décalage sur GWT.
Sur les stats serveur, finalement certains sites sont effectivement moins scannés, mais depuis ce matin seulement.
J’ai passé un coup de « rapidIndexer SB » à 14H ainsi que quelques pings sur quelques nouvelles pages et aucune réaction de GB pour le moment…
il est revenu hier aussi rapidement qu’il avait disparu.
Grosses variations selon les sites pour moi. Sur de vieux gros sites, il semble continuer à passer régulièrement, moins qu’avant, mais il passe.
Sur de jeunes sites (1 mois d’ancienneté), c’est quasiment l’arrêt complet, la page d’accueil visité une fois par jour tout au plus !
Pas de changement de mon côté sur des sites à gros nombre de pages en terme de crawl. Par contre effectivement depuis quelques temps les pages mettent trois plombes à être ajoutées dans l’index.
Les choses semblent rentrer dans l’ordre depuis ce matin… mais c’est peut-être un symptôme des dernières updates ;) Wait and see !
Je remarque aussi cette baisse de Crawl. C’est annonciateur de mouvements à mon avis ^^
Pour mesurer la fréquence de crawl de google quelles applications vous utilisez ? Une application en particulier ou celle fournis par OVH comme Awstats peuvent suffire ?
J’utilise un analyseur de logs maison.
Mais pour ce type de mesure Awstats ou même quelques commandes linux suffisent amplement.
[MODE TROLL]Les résultats naturels étant de moins en moins présents dans les listings, normal que Google ait besoin de moins crawler ?[/MODE TROLL]