Une nouvelle vidéo Abondance qui explique le fonctionnement des spiders ou robots (tels que Googlebot et Bingbot) : actions, stats, fréquence de visite sur une page, infos dans la Search Console, etc. Pour en savoir plus sur ces systèmes qui doivent trouver sur votre site une 'Journée Portes Ouvertes' !...
Voici une nouvelle video SEO proposée par le site Abondance, avec le fonctionnement des robots ou spiders (ou agents ou crawlers) des moteurs de recherche. Comment ça marche ? Comment avoir des informations sur les visites de ces outils et à quelle fréquence viennent-ils explorer (crawler) vos pages ? Vous en saurez plus après avoir regardé ces quelques images. Bonne vidéo !
Spiders, Robots, Crawlers : comment ça marche ?, vidéo proposée par Olivier Andrieu (Abondance). Source de l'image : Abondance |
Voici également quelques articles complémentaires pour approfondir le sujet :
- Matt Cutts : "laissez Googlebot crawler vos CSS et JavaScript".
- Googlebot ne crawle pas plus de 10 Mo de code source !
- Google ne crawle pas votre site si votre fichier robots.txt n'est pas disponible.
- Googlebot s'adapte mieux aux contenus géolocalisés.
- Googlebot gère maintenant les sites d'actualités.
- Googlebot pour smartphones va changer de user-agent.
- Googlebot bientôt prêt pour le protocole HTTP/2.
Etc.
N'hésitez pas également à visiter la zone "Vidéos SEO" du site et à vous abonner à la chaîne YouTube du site Abondance (ou à son fil RSS) pour découvrir, semaine après semaine, les prochaines vidéos que nous vous proposerons.
Merci Olivier,
clair net précis 🙂
J’aime bien la comparaison du robots avec un internaute fou 😉
Allez hop je partage la vidéo autour de moi !
A bientôt,
Olivier CLEMENCE
@Charles, ce n’est pas le cas de tous les moteurs. Le notre ne crawl aucun site de particuliers, c’est un choix, il faut donc confirmer que l’on est une entreprise, association déclarée, ou administration. (et limité à la France).
Pour compléter, pour les fin analystes, un robot va envoyer dans l’entête http une requête « if-modified-since » , avec une date du précédent crawl pour éviter de re-crawler les pages qui n’ont pas changées depuis la dernière visite, afin de soulager les ressources réseaux mais aussi du spider comme celui du site.
Toujours sympa ces petites vidéos ^^
Bonjour
Vidéo simple et concise qui rappelle bien le fonctionnement des bots des moteurs.
J’aime surtout la piqûre de rappel sur le fait qu’il n’est plus besoin d’inscrire ses sites sur les moteurs et surtout sur le fait qu’il soit inutile de leur indiquer quand venir.