So funktioniert’s
- Wählen Sie unter „Vorlage“ die gewünschte Ausgangsregel.
- Setzen Sie die Bots, die Sie ausschließen möchten, auf „Blockieren“; lassen Sie die übrigen auf „Standard“.
- Aktivieren Sie „Kopfkommentar einfügen“, wenn die Datei einen Hinweis auf den Generator enthalten soll.
Beispiele
WordPress mit Sitemap
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.beispielhandlung.de/sitemap.xml
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.beispielhandlung.de/sitemap.xml
Alle Crawler außer Googlebot ausschließen
Vorlage: Alles blockieren Googlebot: Erlauben
User-agent: * Disallow: / User-agent: Googlebot Allow: /
Häufige Fragen
Wo muss ich die robots.txt-Datei hochladen?
Laden Sie die Datei als robots.txt in das Stammverzeichnis Ihrer Website hoch, sodass sie unter https://ihre-domain.de/robots.txt erreichbar ist.
Schützt robots.txt private Bereiche meiner Website?
robots.txt ist eine Aufforderung an Crawler, keine Zugriffskontrolle. Verlassen Sie sich deshalb nicht darauf, um vertrauliche Inhalte zu schützen.
Welche Regel gilt, wenn Allow und Disallow gleichzeitig passen?
Im Tester gewinnt das längste passende Muster. Bei gleicher Länge hat Allow Vorrang; die Groß- und Kleinschreibung der Pfade wird berücksichtigt.
Kann ich die vorhandene robots.txt meiner Website prüfen?
Fügen Sie den Inhalt Ihrer robots.txt in den Tester ein und geben Sie eine URL oder einen Pfad sowie den User-Agent an. Das Tool ruft weder die Website noch deren robots.txt ab.
Werden meine Pfade und URLs gespeichert?
Die Erstellung und Prüfung erfolgen im Browser; Pfade und URLs werden nicht hochgeladen und nicht für spätere Besuche gespeichert. Nur Formulareinstellungen werden im Browser gespeichert; die Seite nutzt Google Analytics für Ereignisse ohne Pfade oder URLs.