On m'a présenté, il y a quelques jours de cela, un cas assez étrange de comportement de Googlebot, le spider de Google, sur un site web récent... Laissez-moi vous conter cela.
Le site en question (de petites annonces) a été lancé il y a peu de temps (quelques mois) et, pour initier son trafic, a mis en place des campagnes de liens sponsorisés Google Adwords. En paralèlle, il a mis en place, bien entendu, une politique "propre" d'optimisation de ses pages pour les moteurs de recherche.
Jusqu'au début du mois d'août, pas de réel soucis : le trafic est, logiquement, issu en majeure partie des liens sponsorisés Adwords, ce qui était le but de départ :
Du côté de Googlebot, idem, les stats sur les visites du spider sur le site montent au fur et à mesure des jours. Tout va bien :
Puis, à la mi-août, le propriétaire du site décide d'arrêter net les campagnes Adwords car il estime que celles-ci lui coûtent cher et que le rapport qualité/prix n'est pas bon. Il désire mettre à plat un certain nombre de choses sur son site et coupe donc les budgets afin d'améliorer un certain nombre de points dans ses pages.
Du coup, fort logiquement, le trafic, qui était jusque là essentiellement dû aux liens sponsorisés, chute fortement :
Jusque là, rien que de très normal... Mais ce qui est plus surprenant, c'est que les robots de Google, dont le trafic est fourni dans la rubrique "Stats" des Webmaster Tools, stoppent également quasi instantanément leurs visites :
Le phénomène est étonnant et on pourrait croire que les robots "Web Search" de Google calquent leurs explorations sur le budget des enchères placées en publicité chez Google... Tu payes, je viens ! tu payes pas, je viens pas... Difficile à croire et, après ça, encore plus difficile de faire passer le message au client comme quoi "search" et "pub" sont deux zones étanches chez Google...
La seule explication plausible que j'aie pu trouver à ce phénomène est qu'Adwords utilise ses propres robots (notamment dans le cadre de l'évaluation du Quality Score de l'annonce) et que ce sont eux qui ont eu la plus grande activité su le site pendant cette période. Plus d'Adwords, plus d'"AdsBot" du coup... OK... Mais est-ce vraiment logique, dans ce cas, que les Webmaster Tools tiennent compte de ces visites-là, qui ne concernent que la publicité? Et l'outil pour webmasters de Google ne devrait-il pas différencier les courbes entre chaque type de robot, car même s'il est connu qu'il échangent des données entre eux, chaque type de visite, et donc de robot, n'a pas grand rapport avec les autres...
Mais si vous avez d'autres explications, je suis preneur, bien sûr :))
Articles complémentaires :
Google met en garde contre l’utilisation des codes 403 ou 404 pour limiter la vitesse d’exploration de Googlebot
Multipliez la fréquence d’exploration de Googlebot avec ces 3 stratégies simples
Goossips SEO : limites de Googlebot, keyword stuffing et URL exclues
Goossips SEO : googlebot, source originale
Google fait souvent en sorte de ne pas disvulguer des informations très précises liée à son algorithme pour éviter le spam (pagerank pas mis à jour, link: related: site:, …)
Il en va de même pour les informations sur Googlebot qui sont mélangées avec les autres bots.
Une des règles pour le taux de crawl c'est le trafic il me semble.
Il est possible et même très probable que nos amis de chez Google font matcher leurs statistiques pour calculer la vitesse de crawl de chacun de leurs robots(cela évite de gaspiller des ressources inutilement).
Ainsi, si au global sur toutes les données dont ils disposent, disent ce site perd beaucoup de trafic en ce moment.
Le taux de crawl général baisse.
je suis curieux de voir les logs de ce site 🙂 !
Bonjour
Le PageRank ne prend pas en compte la fréquentation du sit emais uniquement les backlinks.
Et le graphique n'indique pas le trafic ou le ranking mais les passages des robots :-))
cdt
comme le page rank de google marche sur la popularité, les liens entrants et la fréquentation, si les connexions avec adwords s'arrêtent, il est logique que le site se déclasse dans les résultats de Google…
@Abondance As tu pu avoir aux logs pour voir si cet adsbot aurait une signature spécifique ?
Peux tu comparer le trafic "avant" campagne ainsi que le nombre de pages explorées "avant" et comparer ces deux paramètres avec leur valeur respective "après campagne" pour voir si sans la publicité le nombre de crawl aurait augmenté de la même façon ?
@ABONDANCE > J'entends par là, peut-être que la courbe de GWT présente aussi le crawl Adsbot et Adsense ?
A vous d'imaginer ce que ça impliquerait et de faire les comptages qui vont bien en regardant les logs du dit site…
Bonjour,
J'ai déjà pu observer ce type de phénomène sans pouvoir le mettre en corrélation avec l'activité Adwords.
Avez vous regardé du côté des:
– Erreurs d'exploration GWT
– Temps de chargement ? En dent de scie ?
– État de serveurs à cette date ? Down serveur éventuel, si down serveur quel code d'entête le site a t'il renvoyé ?
– un changement dans la config serveur ? Blocage d'IP Googlebot ? Peu probable mais je l'ai déjà vu et c'est arrivé sans raison apparente !!
– Chute de PR qq semaines avant ?
Dans tous les cas, la correspondance entre les dates d'arrêt Adwords et baisse de crawl est affligeante !
@ anonyme : Peut être que la courbe de webmaster tools ne présente pas que la courbe de googlebot ? 🙂
Euh, je comprends pas ??
et Cariboo il en dit quoi -)
@Anomyme : tu penses à des données récoltées par les toolbars Google ou par Chrome ?
(Yvan de Ehumeurs.com)
Peut être que la courbe de webmaster tools ne présente pas que la courbe de googlebot ? 🙂
On peut aussi imaginer que Googlebot visite les sites proportionnellement au nombre de visite que le site fait.
Pour mesurer ce nombre de visite, il a Google Analytics (du site même mais aussi des sites qui lui envoient les visiteurs), mais aussi Google Chrome, ou OpenDNS.
Peut-être que les visites par Adwords sont aussi comptabilisés, directement ou indirectement.
J'peut répondre à tes interrogations mais j'devrais te faire un devis d'abord lol
@Elphia : analyse intéressante mais je doute que les visites de Googlebot chutent de façon drastique le jour même où la baisse du trafic intervient… Logiquement, le phénomène devrait survenir plus "en douceur"… Non ?
Merci en tout cas pour le commentaire…
Dans mes expériences j'ai remarqué que les visites de googlebot sont en corrélation avec les visites sur le site internet. Plus un site internet est visité, plus googlebot le crawl. Cela parait plutôt logique.
La fréquentation a chutée (clic sur google search + clic sur adwords donc), donc googlebot viens moins souvent.
D'autres retour d'expériences en ce sens ?
Bjr
Non je n'avais pas accès aux logs du serveur…
Mais ça aurait pu aider, c'est clair..
Encore faut-il que l'outil d'analyse de ces stats fasse la distinction entre les différents bots de Google…
a+
Avez vous pu analyser les logs serveur? Pour voir les différents useragent de bots de Google.
Ca aidera a comprendre 🙂
Il a en effet un bot Adwords spécifique nommé AdsBot-Google qui evalue la qualité des pages de destination, et qui n'est pas Googlebot, ni Mediapartners-Google…