Mode d'emploi
- Choisissez Tout autoriser, Tout bloquer ou WordPress dans Préréglage.
- Pour adapter les règles, saisissez vos chemins dans Chemins interdits (Disallow) et Chemins autorisés (Allow), un par ligne ; Préréglage passe alors à Personnalisé.
- Réglez les robots concernés sur Par défaut, Autoriser ou Bloquer.
- Décochez Inclure un commentaire d'en-tête si vous ne souhaitez pas de commentaire en début de fichier.
- Ajoutez l'URL de votre sitemap dans URL du ou des sitemaps, vérifiez une URL avec Tester une URL, puis cliquez sur Copier ou Télécharger.
Exemples
Site WordPress avec sitemap
Chemin interdit : /wp-admin/ Exception autorisée : /wp-admin/admin-ajax.php Sitemap : https://www.atelier-ceramique.fr/sitemap.xml
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.atelier-ceramique.fr/sitemap.xml
FAQ
Où placer le fichier robots.txt ?
Placez le fichier à la racine de votre site, pour qu'il soit accessible à l'adresse https://votre-domaine.fr/robots.txt. Le fichier téléchargé porte déjà le nom robots.txt.
Le testeur vérifie-t-il le robots.txt en ligne de mon site ?
Le testeur utilise uniquement le fichier généré ou le texte robots.txt que vous collez. Il ne récupère ni le fichier en ligne ni l'URL testée.
Quelle règle l'emporte entre Allow et Disallow ?
La règle correspondante la plus longue l'emporte. À longueur égale, Allow est prioritaire ; les chemins sont sensibles aux majuscules et aux minuscules.
Un fichier robots.txt protège-t-il les pages privées ?
Le fichier robots.txt donne des consignes aux robots, mais il ne contrôle pas l'accès aux pages. Certains robots peuvent ne pas appliquer ces consignes.
Mes règles sont-elles enregistrées ?
Les chemins, les sitemaps, les user-agents personnalisés et les données du testeur ne sont pas enregistrés. Seules les options du formulaire sont conservées dans votre navigateur ; la génération et les tests s'y exécutent sans envoyer vos données.