Robots.txt : A quoi sert-il et comment le créer ?

Si vous êtes ici, c’est que vous avez du entendre parler du « Robots.txt » dans le cadre de votre référencement, et que vous cherchez des explications/informations. N’ayez crainte, ce n’est pas si terrible que ça en à l’air !


Qu’est-ce que le Robots.txt ?

Il s’agit d’un fichier au format texte « txt » nommé « Robots », tout simplement.  On l’utilise dans le cadre du référencement à destination des moteurs de recherche, plus précisément pour exclure certains contenu de l’indexation par les robots.

Pour résumer, un moteur passe sur votre page tout les jours pour ajouter votre contenu au web, et vous, avec ce fichier, vous pouvez lui interdire cela directement. Les robots d’indexation consultent toujours le fichier « Robots.txt » avant d’agir.

Nous allons maintenant voir comment l’utiliser sur notre site/blog.


Comment créer un fichier Robots.txt ?

 

Rien de bien compliqué ce coup-ci, vous créez un document texte que vous renommez « Robots« . Une fois rempli, envoyez ce fichier à la racine de votre site.

Si vous désirez autoriser tous les robot à accéder au site, tapez uniquement ceci ou n’ajoutez pas le fichier:


Si vous souhaitez interdire l’accès à touts les robots:


Si vous souhaitez interdire l’accès au forum ou à une URL… et autoriser seulement Google.



Etc, etc. Vous l’aurez bien compris, ce fichier permet une grande puissance et une souplesse dans le choix de l’indexation du contenu ou non. Attention toutefois, il ne s’agit pas d’une barrière de sécurité contre les robots: certains les ignorent très bien.

Laisser un commentaire