Zo werkt het
- Kies bij Voorinstelling de basis voor je regels: Alles toestaan, Alles blokkeren, WordPress of Aangepast.
- Vul bij Disallow-paden de paden in die je wilt blokkeren en bij Allow-paden de uitzonderingen, één pad per regel.
- Kies per bot Standaard, Toestaan of Blokkeren.
- Voer onder Een URL testen bij URL of pad een URL of pad in en kies bij User-agent de crawler waarvoor je de regels wilt controleren.
- Download het gemaakte bestand en upload robots.txt naar de hoofdmap van je website.
Voorbeelden
WordPress met een Nederlandse sitemap
/wp-admin/ /wp-admin/admin-ajax.php https://www.fietsenwinkelvoorbeeld.nl/sitemap_index.xml
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.fietsenwinkelvoorbeeld.nl/sitemap_index.xml
Alles blokkeren behalve Googlebot
/producten/fietsbel
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: / User-agent: Googlebot Allow: /
Veelgestelde vragen
Kan ik met robots.txt privépagina’s afschermen?
Robots.txt is een verzoek aan crawlers, geen toegangsbeveiliging. Je kunt er geen privépagina’s mee beveiligen; sommige bots volgen de regels mogelijk niet.
Kan deze tool het robots.txt-bestand van mijn website ophalen?
De tool haalt geen bestanden of URL’s op. Om een bestaand bestand te controleren, plak je de inhoud ervan in de tester.
Hoe werken * en $ in robots.txt?
Een * staat voor een willekeurige reeks tekens; een $ aan het einde betekent dat het patroon tot het einde van het pad moet passen. Een regel zoals /*.pdf$ past daardoor niet op /document.pdf?download=1.
Welke regel geldt als Allow en Disallow allebei passen?
De langste passende regel wint. Bij gelijke lengte krijgt Allow voorrang; paden zijn hoofdlettergevoelig.
Worden mijn robots.txt-regels opgeslagen?
Paden, sitemaps, eigen user-agents en testinvoer worden niet opgeslagen of geüpload. Alleen de voorinstelling, het beleid, Crawl-delay, de keuze voor commentaar bovenaan en de botinstellingen worden in je browser bewaard.