Zo werkt het
- Kies bij Voorinstelling de basis voor je regels: Alles toestaan, Alles blokkeren, WordPress of Aangepast.
- Vul bij Disallow-paden de paden in die je wilt blokkeren en bij Allow-paden de uitzonderingen, één pad per regel.
- Kies per bot Standaard, Toestaan of Blokkeren.
- Voer onder Een URL testen bij URL of pad een URL of pad in en kies bij User-agent de crawler waarvoor je de regels wilt controleren.
- Download het gemaakte bestand en upload robots.txt naar de hoofdmap van je website.
Voorbeelden
WordPress met een Nederlandse sitemap
/wp-admin/ /wp-admin/admin-ajax.php https://www.fietsenwinkelvoorbeeld.nl/sitemap_index.xml
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.fietsenwinkelvoorbeeld.nl/sitemap_index.xml
Alles blokkeren behalve Googlebot
/producten/fietsbel
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: / User-agent: Googlebot Allow: /
Veelgestelde vragen
Kan ik met robots.txt privépagina’s afschermen?
Robots.txt is een verzoek aan crawlers, geen toegangsbeveiliging. Je kunt er geen privépagina’s mee beveiligen. Sommige bots volgen de regels mogelijk niet.
Kan deze tool het robots.txt-bestand van mijn website ophalen?
De tool haalt geen bestanden of URL’s op. Om een bestaand bestand te controleren, plak je de inhoud ervan in de tester.
Hoe werken * en $ in robots.txt?
Een * staat voor een willekeurige reeks tekens. Een $ aan het einde betekent dat het patroon tot het einde van het pad moet passen. Een regel zoals /*.pdf$ past daardoor niet op /document.pdf?download=1.
Welke regel geldt als Allow en Disallow allebei passen?
De langste passende regel wint. Bij gelijke lengte krijgt Allow voorrang, paden zijn hoofdlettergevoelig.
Worden mijn robots.txt-regels opgeslagen?
Paden, sitemaps, eigen user-agents en testinvoer worden niet opgeslagen of geüpload. Alleen de voorinstelling, het beleid, Crawl-delay, de keuze voor commentaar bovenaan en de botinstellingen worden in je browser bewaard.