> > Un comportement étrange de Googlebot ?

Un comportement étrange de Googlebot ?


Notez cet article

On m'a présenté, il y a quelques jours de cela, un cas assez étrange de comportement de Googlebot, le spider de Google, sur un site web récent... Laissez-moi vous conter cela.

Le site en question (de petites annonces) a été lancé il y a peu de temps (quelques mois) et, pour initier son trafic, a mis en place des campagnes de liens sponsorisés Google Adwords. En paralèlle, il a mis en place, bien entendu, une politique "propre" d'optimisation de ses pages pour les moteurs de recherche.

Jusqu'au début du mois d'août, pas de réel soucis : le trafic est, logiquement, issu en majeure partie des liens sponsorisés Adwords, ce qui était le but de départ :

Du côté de Googlebot, idem, les stats sur les visites du spider sur le site montent au fur et à mesure des jours. Tout va bien :

Puis, à la mi-août, le propriétaire du site décide d'arrêter net les campagnes Adwords car il estime que celles-ci lui coûtent cher et que le rapport qualité/prix n'est pas bon. Il désire mettre à plat un certain nombre de choses sur son site et coupe donc les budgets afin d'améliorer un certain nombre de points dans ses pages.

Du coup, fort logiquement, le trafic, qui était jusque là essentiellement dû aux liens sponsorisés, chute fortement :

Jusque là, rien que de très normal... Mais ce qui est plus surprenant, c'est que les robots de Google, dont le trafic est fourni dans la rubrique "Stats" des Webmaster Tools, stoppent également quasi instantanément leurs visites :

Le phénomène est étonnant et on pourrait croire que les robots "Web Search" de Google calquent leurs explorations sur le budget des enchères placées en publicité chez Google... Tu payes, je viens ! tu payes pas, je viens pas... Difficile à croire et, après ça, encore plus difficile de faire passer le message au client comme quoi "search" et "pub" sont deux zones étanches chez Google...

La seule explication plausible que j'aie pu trouver à ce phénomène est qu'Adwords utilise ses propres robots (notamment dans le cadre de l'évaluation du Quality Score de l'annonce) et que ce sont eux qui ont eu la plus grande activité su le site pendant cette période. Plus d'Adwords, plus d'"AdsBot" du coup... OK... Mais est-ce vraiment logique, dans ce cas, que les Webmaster Tools tiennent compte de ces visites-là, qui ne concernent que la publicité? Et l'outil pour webmasters de Google ne devrait-il pas différencier les courbes entre chaque type de robot, car même s'il est connu qu'il échangent des données entre eux, chaque type de visite, et donc de robot, n'a pas grand rapport avec les autres...

Mais si vous avez d'autres explications, je suis preneur, bien sûr :))

Commentaires : 18
  1. Raphael 9 septembre 2010 at 12 h 38 min

    Il a en effet un bot Adwords spécifique nommé AdsBot-Google qui evalue la qualité des pages de destination, et qui n'est pas Googlebot, ni Mediapartners-Google...

  2. François 9 septembre 2010 at 12 h 54 min

    Avez vous pu analyser les logs serveur? Pour voir les différents useragent de bots de Google.
    Ca aidera a comprendre 🙂

  3. Abondance 9 septembre 2010 at 12 h 57 min

    Bjr
    Non je n'avais pas accès aux logs du serveur...
    Mais ça aurait pu aider, c'est clair..
    Encore faut-il que l'outil d'analyse de ces stats fasse la distinction entre les différents bots de Google...
    a+

  4. elphia 9 septembre 2010 at 13 h 04 min

    Dans mes expériences j'ai remarqué que les visites de googlebot sont en corrélation avec les visites sur le site internet. Plus un site internet est visité, plus googlebot le crawl. Cela parait plutôt logique.

    La fréquentation a chutée (clic sur google search + clic sur adwords donc), donc googlebot viens moins souvent.

    D'autres retour d'expériences en ce sens ?

  5. Abondance 9 septembre 2010 at 13 h 15 min

    @Elphia : analyse intéressante mais je doute que les visites de Googlebot chutent de façon drastique le jour même où la baisse du trafic intervient... Logiquement, le phénomène devrait survenir plus "en douceur"... Non ?
    Merci en tout cas pour le commentaire...

  6. Anonymous 9 septembre 2010 at 13 h 48 min

    J'peut répondre à tes interrogations mais j'devrais te faire un devis d'abord lol

  7. EtienneB 9 septembre 2010 at 16 h 15 min

    On peut aussi imaginer que Googlebot visite les sites proportionnellement au nombre de visite que le site fait.

    Pour mesurer ce nombre de visite, il a Google Analytics (du site même mais aussi des sites qui lui envoient les visiteurs), mais aussi Google Chrome, ou OpenDNS.

    Peut-être que les visites par Adwords sont aussi comptabilisés, directement ou indirectement.

  8. Anonymous 9 septembre 2010 at 19 h 55 min

    Peut être que la courbe de webmaster tools ne présente pas que la courbe de googlebot ? 🙂

  9. Anonymous 10 septembre 2010 at 8 h 36 min

    @Anomyme : tu penses à des données récoltées par les toolbars Google ou par Chrome ?

    (Yvan de Ehumeurs.com)

  10. Mo' 10 septembre 2010 at 8 h 40 min

    et Cariboo il en dit quoi -)

  11. Abondance 10 septembre 2010 at 8 h 41 min

    @ anonyme : Peut être que la courbe de webmaster tools ne présente pas que la courbe de googlebot ? 🙂

    Euh, je comprends pas ??

  12. Anonymous 10 septembre 2010 at 14 h 56 min

    Bonjour,

    J'ai déjà pu observer ce type de phénomène sans pouvoir le mettre en corrélation avec l'activité Adwords.

    Avez vous regardé du côté des:
    - Erreurs d'exploration GWT
    - Temps de chargement ? En dent de scie ?
    - État de serveurs à cette date ? Down serveur éventuel, si down serveur quel code d'entête le site a t'il renvoyé ?
    - un changement dans la config serveur ? Blocage d'IP Googlebot ? Peu probable mais je l'ai déjà vu et c'est arrivé sans raison apparente !!
    - Chute de PR qq semaines avant ?

    Dans tous les cas, la correspondance entre les dates d'arrêt Adwords et baisse de crawl est affligeante !

  13. Anonymous 10 septembre 2010 at 16 h 07 min

    @ABONDANCE > J'entends par là, peut-être que la courbe de GWT présente aussi le crawl Adsbot et Adsense ?

    A vous d'imaginer ce que ça impliquerait et de faire les comptages qui vont bien en regardant les logs du dit site...

  14. Elphia 14 septembre 2010 at 7 h 57 min

    @Abondance As tu pu avoir aux logs pour voir si cet adsbot aurait une signature spécifique ?

    Peux tu comparer le trafic "avant" campagne ainsi que le nombre de pages explorées "avant" et comparer ces deux paramètres avec leur valeur respective "après campagne" pour voir si sans la publicité le nombre de crawl aurait augmenté de la même façon ?

  15. Anonymous 16 septembre 2010 at 9 h 07 min

    comme le page rank de google marche sur la popularité, les liens entrants et la fréquentation, si les connexions avec adwords s'arrêtent, il est logique que le site se déclasse dans les résultats de Google...

  16. Abondance 16 septembre 2010 at 9 h 43 min

    Bonjour
    Le PageRank ne prend pas en compte la fréquentation du sit emais uniquement les backlinks.
    Et le graphique n'indique pas le trafic ou le ranking mais les passages des robots :-))
    cdt

  17. Anonymous 20 septembre 2010 at 18 h 43 min

    Une des règles pour le taux de crawl c'est le trafic il me semble.

    Il est possible et même très probable que nos amis de chez Google font matcher leurs statistiques pour calculer la vitesse de crawl de chacun de leurs robots(cela évite de gaspiller des ressources inutilement).

    Ainsi, si au global sur toutes les données dont ils disposent, disent ce site perd beaucoup de trafic en ce moment.

    Le taux de crawl général baisse.
    je suis curieux de voir les logs de ce site 🙂 !

  18. arnoweb 1 octobre 2010 at 22 h 56 min

    Google fait souvent en sorte de ne pas disvulguer des informations très précises liée à son algorithme pour éviter le spam (pagerank pas mis à jour, link: related: site:, ...)
    Il en va de même pour les informations sur Googlebot qui sont mélangées avec les autres bots.

Un site du Réseau Abondance | Olivier Andrieu | Contact | Publicité sur le site