Reprise du travail pour Googlebot

Le mouvement de grève n’aura finalement duré qu’une grosse journée. Les bots ont commencé à évacuer leur lieu de travail jeudi vers 13h pour une quasi-interruption de service vers 22h. Le mouvement a été particulièrement suivi vendredi avec un taux de...

Googlebot est en grève !

Phénomène très surprenant depuis quelques heures : Googlebot est en grève ! Le principal boulot d’un moteur de recherche, c’est de crawler le web. Et bien… depuis quelques heures, Google a (presque) arrêté de le faire. C’est @Lagiirafe qui...

Impact des performances sur le crawl

J’ai parlé à plusieurs reprises de l’impact des performances sur le volume de pages crawlé par Googlebot. Voici un exemple concret. Mise en prod -> dégradation des performances -> chute de crawl. La sanction est immédiate. Amélioration des...

Les plus gros crawlers du web

Voici un petit graphique représentant, sur une période de plusieurs semaines, le volume de crawl par bots d’un site francophone lambda. (cliquez pour agrandir) Cinq petits constats : Google est seul au monde, 5 des 6 bots les plus actifs lui appartiennent. Le...

Cartographie basique des blogs SEO

Je viens de découvrir le logiciel de cartographie Gephi. Pour prendre le logiciel en main, j’ai décidé de réaliser une cartographie basique des blogs SEO francophone. J’ai pour cela récupéré le top blog SEO de wikio du mois dernier. J’ai ensuite...