Présentation du fichier "robots.txt"
Ce fichier donne des indications aux robots des moteurs de recherche sur les pages à indexer ou à ne pas indexer de votre site.
Celui-ci se place dans le répertoire web de votre hébergement, càd au même endroit que la pge d'accueil de votre site.
Format du fichier "robots.txt"
Il peut contenir les commandes suivantes :
User-Agent
Permet de préciser le robot concerné par les directives suivantes. La valeur * signifie "tous les moteurs de recherche".
Disallow
Permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie "toutes les pages du site".
Voici des exemples de fichier robots.txt :
Exclusion de toutes les pages
User-Agent: *
Disallow: /
Exclusion d'aucune page
(équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées)User-Agent: *
Disallow:
Autorisation d'un seul robot
User-Agent: nomDuRobot
Disallow :
User-Agent: *
Disallow: /
Exclusion d'un robot
User-Agent: NomDuRobot
Disallow: /
User-Agent: *
Disallow:
Exclusion d'une page
User-Agent: *
Disallow: /repertoire/chemin/page.html
Exclusion de plusieurs page
User-Agent: *
Disallow: /repertoire/chemin/page.html
Disallow: /repertoire/chemin/page2.html
Disallow: /repertoire/chemin/page3.html
Exclusion de toutes les pages d'un répertoire et ses sous-dossiers
User-Agent: *
Disallow: /repertoire/
Pour plus d'information
The Web Robots Page
