> > Pas plus de 500 Ko pour votre fichier robots.txt

Pas plus de 500 Ko pour votre fichier robots.txt


Notez cet article

Google rappelle qu'il ne lit que les premiers 500 kilo-octets du fichier robots.txt d'un site web, ce qui doit logiquement correspondre à l'immense majorité des cas...

John Mueller, Webmaster Trends Analyst chez Google Zurich, rappelle sur son profil Google+ que les robots de Google n'analysent que les 500 premiers kilo-octets du fichier robots.txt d'un site web, comme le rappelle l'aide en ligne du moteur.

En même temps, ce fichier (au format textuel donc très léger) ne contient la plupart du temps que quelques lignes listant les répertoires à ne pas indexer et l'adresse du (des) fichier(s) Sitemap et ne fait que quelques kilo-octets dans l'immense majorité des cas. Logiquement, cette limite des 500 Ko ne doit donc être atteinte que dans des cas très précis et d'autant plus rares...

Fichier robots.txt
Source de l'image : TechMissile

Commentaires : 12
  1. LaurentB 31 janvier 2012 at 8 h 14 min

    Si je ne m'abuse, le doc GG parle de 500kb. Hors 1 octet = 8 bits, donc ton énoncé est faux.
    Ca serait plutôt du genre 62Ko; ce qui ne donne pas autant de latitude.

  2. Ham's de Sun-Location.fr 31 janvier 2012 at 8 h 17 min

    500 Ko, c'est quand même largement suffisant ! enfin je l'espère 🙂

  3. Abondance 31 janvier 2012 at 8 h 24 min

    @LaurentB : effectivement il y a un truc pas clair : 500kb = 500 kbits ou 500kbytes ?? J'ai posé la question à John Mueller, je reviendrai sur ce point ici dès que j'ai la réponse...
    Merci pour cette précision
    cdt

  4. Trafiquant 31 janvier 2012 at 8 h 59 min

    Effectivement j'ai vu l'actu sortir hier, on parlait bien alors de 62Ko...

  5. Abondance 31 janvier 2012 at 9 h 10 min

    Oui il y a un doute en fait... Restez connectés :)))

  6. TOMHTML 31 janvier 2012 at 10 h 09 min

    500 kb = 62,5kB = 62,5 ko en français. Tu ne lis plus @Zorgloob sur Twitter ? 😛

  7. Abondance 31 janvier 2012 at 10 h 12 min

    @TomHTML : j'ai demandé confirmation à John Mueller.

  8. Abondance 31 janvier 2012 at 12 h 52 min

    En plus, j'ai du mal à comprendre pourquoi une limite se ferait au niveau des bits ??? La notion d'octet me semble plus logique dans ce cas...

  9. Abondance 31 janvier 2012 at 15 h 39 min

    Toujours pas de réponse de John Mueller, mais il est clair que leurs docs so t ambigues. Normalement, on par le de kbit et de kbyte, pas de kb... Cependant, un usage voudrait qu'on utilise "kb" pour les bits et "kB" pour les octets. Mai sce n'est qu'un usage.
    bref, tout ça demande vérification et modification sur leurs sites je pense...
    cdt

  10. Abondance 1 février 2012 at 14 h 27 min

    Bonjour

    Info confirmée par John Mueller de Google : c'est bien 500 Ko la limite pour les fichiers robots.txt, et non pas 500 Kbits 🙂 Voir : https://plus.google.com/113006028898915385825/posts/Wbk17p6bMSe

  11. Abondance 1 février 2012 at 16 h 17 min

    @TomHTML : comme quoi, il faut toujours vérifier, vérifier, vérifier :))

  12. TOMHTML 1 février 2012 at 16 h 48 min

    Bien vu ! Je suis surpris qu'ils aient laissé passer un truc comme ça dans leur doc ! Merci Olivier 😉

Un site du Réseau Abondance | Olivier Andrieu | Contact | Publicité sur le site