> > Comment récupérer (scraper) les résultats Google pour une requête donnée ? (tuto)

Comment récupérer (scraper) les résultats Google pour une requête donnée ? (tuto)


Comment récupérer (scraper) les résultats Google pour une requête donnée ? (tuto)
5 (100%) 4 votes

Comment récupérer (scraper) les résultats Google pour une requête donnée ?

Vous avez peut-être parfois besoin de copier/coller simplement, pour une requête donnée, les résultats de Google (titre + description + URL) dans un dossier à telle ou telle occasion et de façon ponctuelle. Si vous voulez vous éviter une fastidieuse et répétitive opération manuelle, les solutions disponibles ne sont pas si courantes finalement. En voici deux sous forme de tutos...

Pour un client, j'ai dernièrement dû réaliser un dossier qui récapitulait les différents résultats ("liens bleus") renvoyés par Google sur plusieurs requêtes les concernant. Il me fallait donc récupérer (on parle dans ce cas de "scraper") les différentes informations de la SERP pour les recopier facilement dans mon dossier sous Word : titre des liens, URL et description textuelle qui forment le "snippet" cher à Google.

Il ne m'a pas fallu beaucoup de temps pour m'apercevoir que ce n'était pas si simple que cela et que peu d'outils, finalement, proposaient ce type de fonctionnalité (un certain nombre d'outils proposent de récupérer facilement Titre et URL, mais très peu la description du lien). Bref, un passage par les réseaux sociaux (merci encore à toutes les personnes ayant contribué à cette recherche et mention très spéciale à Fabrice Valtancoli et Sébastien Billard pour les deux techniques évoquées ci-dessous, et qui pourront vous aider si vous avez à affronter un jour la même problématique :

Première possibilité : installer la Mozbar (sur Chrome ou Firefox). Puis, une fois l'outil installé dans votre navigateur, vous allez sur Google et lancez la requête désirée. Cliquez ensuite sur le pictogramme de téléchargement :

snippet-mozbar
Pictogramme de téléchargement dans la Mozbar.
Source de l'image : Abondance

Vous récupérez ainsi un fichier CSV avec les données désirées. Vous allez alors dans Google Docs / Speadsheets et vous importez (menu "Fichier > Importer" puis onglet "Importer" dans la fenêtre qui s'ouvre) le fichier en question. Un menu s'ouvre et vous le validez :

snippet-google-docs
Menu d'importation du fichier CSV dans Google Docs.
Source de l'image : Abondance

Et le tour est joué : vous avez sous les yeux chaque champ désiré (et même un peu plus) et il ne vous reste plus qu'à faire un copier/coller de ce qui vous intéresse :

snippet-google-resultats
Les champs obtenus sont maintenant disponibles.
Source de l'image : Abondance

Seconde possibilité : utiliser l'extension Scraper pour Chrome qui, par défaut, ne fonctionnera pas, mais grâce à Sébastien Billard, vous pourrez la configurer pour que cela marche parfaitement. Une fois l'extension intégrée dans votre navigateur, vous faites un clic droit n'importe où dans la SERP et vous optez, dans le menu contextuel, pour le choix "Scrape Similar..." :

scraper google
Option "Scrape Similar" sur un clic droit dans la SERP.
Source de l'image : Abondance

Et si vous suivez bien les directives de l'ami Sébastien, vous obtenez également les infos demandées :

scraper google
L'extension Scraper vous fournit les données désirées de la SERP.
Source de l'image : Abondance

Alors, quelle option choisir ? La première ou le seconde ? Pour ma part je préfère la première, qui donne un résultat plus "propre" (Scraper renvoie les termes comme "En cache" ou "Pages similaires" par exemple, et nous avons eu un peu de mal avec les retours à la ligne proposés). La pérennité de la deuxième par rapport au code des SERP Google qui changent tout le temps peut également poser question. Mais n'hésitez pas à tester les deux pour voir celle qui vous convient le mieux.

Sinon, bien sûr, vous avez des outils comme Rddz Scraper mais ils conviennent à d'autres types de besoins (rappelons que notre besoin était ici pontuel pour quelques requêtes spécifiques) mais ceci est une autre histoire :-). Bon scrap !


Commentaires : 15
  1. Sébastien Billard 12 mai 2016 at 9 h 12 min

    Avec mon tuto Olivier tu as bien les données dans des colonnes distinctes si tu utilises les expressions Xpath spécifiées dans la section "Columns". Tu peux même extraire à la fois l'url verte (qui est parfois le fil d'ariane) et la vraie URL présente dans l'attribut href 😉

    • Olivier Andrieu 12 mai 2016 at 9 h 22 min

      Merci encore Sébastien pour ton aide !

  2. Cédric 12 mai 2016 at 9 h 23 min

    Petit moment auto-promo mais ça marche aussi très bien directement dans Excel, ce qui évite le copier-coller

    --> http://cedricguerin.fr/scraper-avec-excel/

    • Olivier Andrieu 12 mai 2016 at 9 h 27 min

      Je ne vois pas la description dans le fichier proposé ???

  3. Cédric 12 mai 2016 at 9 h 58 min

    Non en effet, cette donnée n'était pas présente dans le document. C'est corrigé si tu veux aller tester (version 2.0) 🙂

    • Olivier Andrieu 12 mai 2016 at 10 h 03 min

      J'avais vu ton outil dans mes recherches mais l'absence de descriptif m'avait fait chercher ailleurs. Corrigé donc 🙂 Merci !

  4. Lamure 12 mai 2016 at 11 h 41 min

    Merci beaucoup,

    Je vais essayer ces astuces pour gagner du temps
    Comme toujours merci Abondance !

  5. Stéphane 12 mai 2016 at 12 h 27 min

    Bonjour, merci pour ce tuto, très intéressant. Existe-t-il un outil qui permette d'obtenir le nombre de résultats du moteur de recherche selon une liste de mots clefs ?

  6. Romain 12 mai 2016 at 13 h 37 min

    Merci Olivier,
    J'utilise parfois la bar Moz et je ne m'étais jamais rendu compte de cette possibilité ^^
    Comme quoi on en apprend tous les jours 🙂

  7. Cédric 12 mai 2016 at 14 h 12 min

    @Stéphane c'est nettement plus compliqué car cela implique d'aller effectuer une requête par mot-clé. Et Google affiche rapidement un captcha dans ce cas (il faut donc passer par des proxies). RDDZ Scraper peut néanmoins convenir. Personnellement j'utilise ZennoPoster.

    • Stéphane 12 mai 2016 at 15 h 59 min

      @Cédric : merci de ta réponse. J'ai jeté un oeil aux deux solutions, les deux sont intéressantes, et en élargissant mes recherches (et quelques tests), j'ai finalement retenu Yooda Insight (outil Keyword Suggest) pour l'analyse de la concurrence. Mais ça n'enlève rien à l'utilité du tutoriel ci-dessus et des solutions dont tu as parlé : merci ! 😉

  8. Cédric 12 mai 2016 at 17 h 19 min

    A vrai dire, j'avais cité Yooda Insight initialement puis je l'ai retiré car il ne te permet pas (à priori) d'importer une liste de KW pour en extraire les données. Cela dit, c'est un excellent outil, que j'utilise au quotidien.

  9. Véronique Duong 21 mai 2016 at 21 h 50 min

    Très bonne astuce ! J'utilise Xpath pour scraper pas mal de choses aussi, mais je ne connaissais pas ces deux outils. Merci pour le partage

  10. rddztools 24 mai 2016 at 10 h 09 min

    Salut Olivier et merci pour le lien 😉

    Il est vrai que pour du scrap occasionnel (et sur Google), les solutions proposées sont tout à fait adéquates. Après comme tu le dis à la fin de ton article, pour du scrap un peu plus efficient et surtout pour récupérer les données que l'on souhaite, il faudra effectivement se tourner vers des outils plus spécifiques (non non, pas de pub ^^).

    Mais comme tu le dis si bien : "ceci est une autre histoire :-)"

    P.S. : N'hésites pas à nous contacter si tu as des besoins plus spécifiques ou si tes besoins en scrap deviennent moins occasionnels 😉

  11. isabelle Canivet 25 juin 2016 at 20 h 38 min

    Merci à Olivier et Sébastien !

    Pour le XPath, autre formule qui fonctionne :

    //div[3]/div[2]/div/div/div/div/div/div/div

    Configurez les colonnes comme expliqué dans le tuto de Sébastien 🙂

    Pour les curieux, un autre outil à tester, DataMiner. Même si Scraper, c'est top 🙂

Un site du Réseau Abondance | Olivier Andrieu | Contact | Publicité sur le site