Outil générateur de robots.txt
Robots.txt est un fichier texte qui va à la racine du domaine et qui est exploré par les moteurs de recherche. Il contient des directives détaillées concernant l'indexation des pages Web pour les robots. La précision et la rapidité de l'indexation d'un site Web dépendent directement de la validité d'un fichier robots.txt, de sorte que les moteurs de recherche comme Google peuvent identifier les pages d'un site Web qui ne sont pas pertinentes.
Cet outil permet de générer rapidement des fichiers robots.txt qui doivent être copiés et enregistrés à la racine du domaine d'un site Web. Pour générer un texte, il vous suffit de choisir un moteur de recherche que vous trouvez adapté à l'indexation (ou vous pouvez également choisir de ne pas indexer les moteurs de recherche que vous souhaitez) et d'entrer le plan du site d'un site Web dans une barre de saisie.