> > Matt Cutts : "laissez Googlebot crawler vos CSS et JavaScript"

Matt Cutts : "laissez Googlebot crawler vos CSS et JavaScript"


Matt Cutts : "laissez Googlebot crawler vos CSS et JavaScript"
5 (100%) 1 vote

Matt Cutts

Matt Cutts explique dans une nouvelle vidéo qu'il n'est pas utile et efficace de bloquer à Googlebot l'accès aux fichiers CSS et JavaScript externalisés car le moteur s'en sert pour analyser vos sites web...

Matt Cutts explique dans une nouvelle vidéo (1'38") qu'il est important de ne pas bloquer les feuilles de style (CSS) et codes Javascript d'un site web dans le fichier robots.txt car ils peuvent aider Googlebot à mieux analyser le site et s'enquérir d'informations qui peuvent être utiles aux algorithmes utilisés pour proposer les meilleurs résultats possibles aux internautes.

On sait notamment que Google explore de mieux en mieux les codes JavaScript et y déniche notamment des liens (mais pas que..). Le message est en tout cas clair : ne bloquez pas Googlebot pour l'indexation de vos CSS et JavaScript, Google s'en sert ! A vous de vérifier dans votre fichier robots.txt que c'est bien la cas...


Source de l'image : Google

Commentaires : 11
  1. emmanuel 26 mars 2012 at 19 h 40 min

    Il s'en sert aussi pour regarder les textes et les liens cachés ?
    Surprenant comme commnucation

  2. Abondance 26 mars 2012 at 19 h 51 min

    @Emmanuel : c'est bien possible, en effet, c'est en tout cas ce que je me suis dit en premier en regardant la vidéo...
    cdt

  3. Agence web 26 mars 2012 at 19 h 59 min

    D'un côté son discours peut être sournois. Si vraiment un lien est important, je ne vois pas l'utilisé de le mettre dans un fichier javascript. Je pense plutôt que c'est pour détecter des techniques visant à dissimuler du contenu ou des liens dans la page : liens blancs sur fond blanc, etc.

    Après, c'est vrai que GoogleBot commence doucement à se faire à l'ajax. Dans ce cas précis, ça concerne le contenu réel des pages. Je suis déjà plus tenté de croire que c'est pour proposer de meilleurs contenus aux internautes.

    Il me semble que Google a aussi dit qu'il fallait laisser le robot parcourir sa base de données pour qu'il puisse vraiment savoir toutes les informations que se trouvent son site. Si on écoutait Google, il faudrait leur filer nos clés de bagnole.

    Blague à part, un référenceur qui suit les directives de Google n'a pas de raisons de bloquer un .css ou un .js.

  4. tonguide 26 mars 2012 at 20 h 09 min

    Je pense que tout le monde comprend ça dans le sens "Laissez-nous vérifier que vous ne trichez pas". Si vous bloquez, c'est que vous avez quelque chose à cacher, donc une petite note en moins par rapport à celui qui va laisser l'accès. Après, celui qui triche, il trouvera surement plus d'avantage à tricher qu'à le dire à GG ...

  5. Abondance 26 mars 2012 at 20 h 14 min

    Bonjour
    J'y mets un bémol cependant, car je vois pas mal de sites, qui - j'en suis sur - ne spamment pas le moins du monde, bloquer CSS et JS dans le robots.txt, tout simplement car ils pensent que ça n'a aucune utilité pour Google, que ce sont juste des fichiers "techniques"...
    La vidéo de Matt Cutts s'adresse aussi à ces webmasters...
    Mais la finalité me semble clairement pur Google être la détection de spam in fine...
    cordialement

  6. Attrape Robots 26 mars 2012 at 21 h 02 min

    Hé hé hé...

    Tant que Matt ne me demande pas de laisser parser mon .htaccess, mon php.ini et de mettre tous mes scripts serveurs en copie statique "out of the box" afin qu'il puisse vérifier qu'ils ne contiennent pas de failles de sécurité (qui pourraient être dommageables pour l'internaute), je veux bien que le crawler de Google accède à des Jquery qui sont tirées de code.google, il aura l'impression d'être chez lui ^^

  7. Agence web Lyon 27 mars 2012 at 6 h 49 min

    @agence web
    Pour crawler l'ajax, il existe déjà des directives qui fonctionnent très bien. Si le site est bien conçu, Google n'a pas besoin d'accéder aux fichiers Javascript et je pense que c'est surtout pour détecter des petites tricheries que Matt demande ce genre de choses.

    Conclusion : je sais pas à quoi ça servira précisément à Google, mais il n'aura pas accès à ces fichiers, même s'il n'y a strictement rien de répréhensible dedans.

    Ils veulent trop mettre leur nez partout.

  8. Cédric G. 27 mars 2012 at 8 h 05 min

    Bonjour

    Pour ma part je trouve pour le moins intrusive la méthode, car elle peut parfois générer... du duplicate content qui ne DEVRAIT PAS avoir lieu d'être !

    Un exemple simple : prenez Prestashop (en tout cas jusqu'à la version 1.4.x) et son module de statistiques intégré. Les données sont envoyées via un POST en javascript, donc strictement sans aucune URL dans le code. Et bien Google "trouve" les URL (qui regroupent trois variables encodées en Base64 séparées par un signe "=") et les indexe, pour les indiquer ensuite en duplicate dans les GWT !!!

    S'il n'interprétait pas ce code JS, il n'y aurait pas de DC et donc pas d'alerte dans les GWT (et donc pas de "problèmes" soulevés !)

    En clair, Google s'autogénère des problèmes !

  9. Agence web Haute-Savoie 27 mars 2012 at 12 h 31 min

    Et si google faisait des associations du type texte + "font-size" ou "font-weight" ?
    Rappelons que Google est une taupe qui a du mal a voir. Peut-être qu'ils avancent sur la prise en compte du design (dans une certaine mesure) pour avoir encore un meilleur aperçu du sens que l'on veut donner au site.

    Après tout, s'il est capable de détecter un "display:none", il pourrait bien le faire pour le reste.

  10. Anonymous 27 mars 2012 at 14 h 38 min

    bonjour,

    est ce que le rendu "preview" dans les Serp fonctionne lorsque CSS/JS sont bloqués ?

    matthieudeparis

  11. Anonymous 27 mars 2012 at 16 h 10 min
Un site du Réseau Abondance | Olivier Andrieu | Contact | Publicité sur le site