Sur le site Abondance, nous essayons, dans la mesure du possible, de vous expliquer comment faire en sorte que vos pages soient indexées au mieux par les robots (spiders) des moteurs de recherche. Mais il peut également arriver que certaines de vos pages soient confidentielles, ou en tout cas que votre objectif ne soit pas de les diffuser largement sur lesdits moteurs. Un site ou une page en construction, par exemple, ne doivent pas obligatoirement être la cible d'une telle aspiration. Il faut alors empêcher certains spiders de les prendre en compte. Cela se fait au moyen d'un fichier texte, appelé robots.txt, présent sur votre serveur. Ce fichier va donner des indications au spider du moteur sur ce qu'il peut faire et ce qu'il ne doit pas faire sur le site. Si ce fichier existe, il le lit et suit les indications qui y sont inscrites. S'il ne le trouve pas, il commence son travail de lecture et de sauvegarde de la page HTML qu'il est venu visiter, considérant qu'a priori rien ne lui est interdit.
N’oubliez pas votre fichier Robots.txt
Auteur : Olivier Andrieu.
Olivier Andrieu
Fondateur Abondance
Olivier Andrieu était consultant SEO indépendant. Il a créé la société Abondance en 1996 et le site abondance.com en 1998. En 2023, il a décidé de prendre sa « retraite SEO » pour se consacrer à son activité de scénariste de BD à temps plein.
ActuMoteurs, la newsletter hebdo d'Abondance
Rejoignez nos 20 000 abonnés et recevez, chaque semaine, tous nos articles dans votre boite mail !
Les données transmises par le biais de ce formulaire sont uniquement destinées à Abondance. Elles ne seront en aucun cas cédées à des tiers. Vous pouvez vous désabonner à tout moment en cliquant sur les liens de désinscriptions présents dans chacun de nos emails. Pour plus d’informations, vous pouvez consulter l’intégralité de notre politique de traitement de vos données personnelles.
