Google a modifié son mode de lecture des fichiers robots.txt

Attention si vous utilisez des jokers (astérisques) dans votre fichier robots.txt : Google vient de modifier (sans communication officielle à ce sujet) sa façon de les interpréter. Un changement qui peut avoir des conséquences plus ou moins néfastes sur votre indexation dans le moteur de recherche...

C'est le site Search Foresight qui nous l'indique : Google a lancé dernièrement des messages d'alerte dans sa Search Console pour certains sites qui pourraient voir leurs pages bloquées et ne plus être crawlées suite à une nouvelle interprétation du fichier robots.txt par les spiders du moteur.

Explication : si votre fichier robots.txt contient des directives utilisant l'astérisque (joker) telles que celle-ci : Disallow: *terme, il faut maintenant les libeller ainsi pour que Google les prenne en compte (avec un "/" avant l'astérisque) : Disallow: /*terme. Un seul petit caractère qui peut induire de gros changements dans l'indexation de votre site...

Vérifiez donc bien votre fichier robots.txt pour vérifier s'il contient ou pas ce type de joker. Et corrigez la situation au cas où. Un webmaster averti en vaut toujours deux...

robot-spider
Un spider (allégorie 🙂 ). Source de l'image : DR