googlebot

Les sites proposant plusieurs dizaines de milliers de pages web, voire plus, ont parfois des soucis d'exhaustivité d'indexation de leur contenu, notamment si le 'siloing' de leur arborescence est trop profond. Dans ce cas, le plan du site pour les internautes peut venir à leur rescousse, et à celle de Googlebot...

On le sait, Google utilise des robots (répondant au doux nom de Googlebot) pour "crawler" (visiter) votre site et ainsi récupérer vos pages en cliquant sur tous les liens qu'elles proposent. Pour les "petits" sites (au sens googlien du terme, c'est-à-dire les sites proposant de quelques dizaines à quelques centaines de pages), pas de souci en règle générale : en navigant au travers des différents menus et en parcourant votre arborescence, par essence très simple, l'indexation ne pose que très rarement (voire jamais) de problèmes.

Cela se complique souvent un peu plus avec les "gros" sites (plusieurs dizaines de milliers de pages, voire - beaucoup - plus). En effet, on sait que Googlebot n'est pas toujours un très vaillant petit robot et qu'à partir d'une certaine profondeur d'arborescence (3 à 4 clics à partir de la page d'accueil le plus souvent), l'indexation devient très aléatoire.

Que faire, donc, si vous avez ce type de problème avec une arborescence très longue et des "chemins de clic" refoulant vos pages intéressantes (articles, fiches produits, etc.) à plus de 4 ou 5 clics de votre homepage ? Bien sûr, le fichier Sitemap XML est une solution. Mais, par expérience, elle est loin d'être idéale et ne comble pas toujours les problématiques posées par une arborescence "naturelle" trop étirée.

Une solution très simple, mais pas toujours mise en place, vient souvent du plan du site pour les internautes. Cette page (qui peut être construite à plusieurs niveaux pour les très gros sites) peut proposer plusieurs centaines de liens (ou plus) et les positionner à un clic de la page d'accueil (en oubliant la légende des 100 liens sortants au maximum par page). On raccourcit ainsi le chemin de visite pour Googlebot et on facilite l'indexation des nouvelles (et anciennes) pages du site.

Voici quelques exemples de plans de site qui nous semblent plutôt bien conçus pour les moteurs de recherche (il en existe bien sûr des centaines d'autres) : Webimm (petites annonces immobilières), La Chaîne Météo (prévisions météorologiques), Ld Medical (commerce électronique), Atlantico (presse), etc. Certains sites énormes, comme CDiscount, proposent des plans de site à l'échelle de leur démesure 🙂 ).

La gageure, dans ce type de développement, sera de réussir l'osmose entre deux points importants : garder un plan de site agréable à utiliser pour l'internaute (après tout, c'est pour lui que cette page est réalisée au départ) tout en fournissant des raccourcis d'indexation aux moteurs via des liens bien conçus et en nombre. Tout un art ! Mais le jeu en vaut réellement la chandelle si votre site commence à grossir de façon importante au fil des années !

Et si, de votre côté, vous connaissez des plan de site pour les internautes bien conçus pour Googlebot, n'hésitez pas à en indiquer l'URL dans les commentaires !

plan-de-site-panneaux
Source de l'image : DR