Googlebot est en grève !

Phénomène très surprenant depuis quelques heures : Googlebot est en grève ! Le principal boulot d’un moteur de recherche, c’est de crawler le web. Et bien… depuis quelques heures, Google a (presque) arrêté de le faire. C’est @Lagiirafe qui...

Impact des performances sur le crawl

J’ai parlé à plusieurs reprises de l’impact des performances sur le volume de pages crawlé par Googlebot. Voici un exemple concret. Mise en prod -> dégradation des performances -> chute de crawl. La sanction est immédiate. Amélioration des...

Les plus gros crawlers du web

Voici un petit graphique représentant, sur une période de plusieurs semaines, le volume de crawl par bots d’un site francophone lambda. (cliquez pour agrandir) Cinq petits constats : Google est seul au monde, 5 des 6 bots les plus actifs lui appartiennent. Le...

Cartographie basique des blogs SEO

Je viens de découvrir le logiciel de cartographie Gephi. Pour prendre le logiciel en main, j’ai décidé de réaliser une cartographie basique des blogs SEO francophone. J’ai pour cela récupéré le top blog SEO de wikio du mois dernier. J’ai ensuite...

Adresses IPs et référencement

Par curiosité, je me suis amusé à constituer une base de 1 353 676 domaines du web francophone. Pour chacun de ces domaines, j’ai récupéré l’adresse IP vers lequel il pointe. Cet échantillon n’est par définition pas exhaustif, il n’a pas été...