SEO
10

Les plus gros crawlers du web

Voici un petit graphique représentant, sur une période de plusieurs semaines, le volume de crawl par bots d’un site francophone lambda.

(cliquez pour agrandir)

Cinq petits constats :

  • Google est seul au monde, 5 des 6 bots les plus actifs lui appartiennent.
  • Le constat serait probablement encore plus flagrant si le site étudié avait des vidéos, des news et achetait de l’adwords.
  • On trouve en bonne place d’étonnants « Content Crawler » et « Ezooms bot », je n’ai pas trouvé d’informations à leur sujet.
  • Bing est complètement à la rue !
  • Voila existe encore O_0

Sans même de parler de pertinence, le défi majeur d’un moteur de recherche est de tendre vers l’exhaustivité afin de pouvoir répondre aux requêtes les plus longue traîne possible.

Et à ce petit jeu, Google n’a pour l’instant aucun soucis à se faire.

Je cherche à réaliser le même graph pour un site chinois et un site russe, afin de voir la place prise par Yandex et Baidu. Si quelqu’un possède un site sur ces marchés, merci de me contacter :-)

Auteur : Jean-Benoît MOINGT

Développeur de formation, ancien consultant chez Aposition. Je suis spécialiste SEO des sites à grosse volumétrie. Actuellement responsable SEO chez PagesJaunes Groupe, je propose par ailleurs des formations SEO sur-mesure et développe des outils d’analyse avancés.

10 Comments to “Les plus gros crawlers du web”

  • Wow ! C’est énorme la main mise de Big G sur le crawl !
    Je serais aussi curieux de savoir qui se cache derrière les deux autres gros…

  • Bonjour,
    Google domine le web mondial.
    Selon mes recherches sur le web, je pense que « ezooms » a une relation avec filezilla, mais comment? je ne sais pas.

  • Pourquoi le constat serait-il différent si le site étudié avait des vidéos ?
    Y a-t-il des bots dédiés aux intégrations de vidéos ? Si oui, lesquels ?

  • Eh oui google, apple et facebook dominent le monde…mais les oiseaux n’ont pas arrêté de chanter pour autant donc faut faire avec 😉 et puis ce sont des produits et services de qualité…

  • Bonjour,

    La différence est parlante sur le visuel. Mais finalement, je ne suis pas plus étonné que ça.

    amicalement

  • Eh oui, il n’y a rien à faire contre google…

  • Waouh, une des raisons pour lesquels les résultats de Google sont les plus pertinents, c’est peut-être en grande partie à cause de cela : le fait qu’il explore plus les sites que les autres

  • Je ne pensais pas :
    – 1 : qu’il avait autant de crawlers,
    – 2 : que Google passait si souvent par rapport aux autres !
    Incroyable et très intéressant ! Merci

  • Le graphique parle de lui même, c’est impressionnant (ou déprimant?). Et ce n’est pas près de s’arranger c’est clair!

  • Il me semble que Content Crawler est un bot Adsense et donc Google !

Réagissez

XHTML: Vous pouvez utiliser les balises suivantes <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

Articles similaires

Articles récents

Catégories

Archives

Liens