Voici un petit graphique représentant, sur une période de plusieurs semaines, le volume de crawl par bots d’un site francophone lambda.

(cliquez pour agrandir)

Cinq petits constats :

  • Google est seul au monde, 5 des 6 bots les plus actifs lui appartiennent.
  • Le constat serait probablement encore plus flagrant si le site étudié avait des vidéos, des news et achetait de l’adwords.
  • On trouve en bonne place d’étonnants « Content Crawler » et « Ezooms bot », je n’ai pas trouvé d’informations à leur sujet.
  • Bing est complètement à la rue !
  • Voila existe encore O_0

Sans même de parler de pertinence, le défi majeur d’un moteur de recherche est de tendre vers l’exhaustivité afin de pouvoir répondre aux requêtes les plus longue traîne possible.

Et à ce petit jeu, Google n’a pour l’instant aucun soucis à se faire.

Je cherche à réaliser le même graph pour un site chinois et un site russe, afin de voir la place prise par Yandex et Baidu. Si quelqu’un possède un site sur ces marchés, merci de me contacter :-)