Come si usa
- Scegli Consenti tutto, Blocca tutto o WordPress in Preimpostazione.
- Per impostare le tue regole, scegli Personalizzato e inserisci i percorsi da bloccare o consentire, uno per riga.
- Imposta Blocca per i bot a cui vuoi vietare la scansione; lascia Predefinito per gli altri.
- Se non vuoi il commento iniziale nel file, deseleziona Includi commento di intestazione.
Esempi
Sito WordPress con sitemap
/wp-admin/ /wp-admin/admin-ajax.php https://www.bottegadellolio.it/sitemap.xml
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.bottegadellolio.it/sitemap.xml
Bloccare i PDF del sito
/*.pdf$
User-agent: * Disallow: /*.pdf$
Domande frequenti
Dove va caricato il file robots.txt?
Carica il file nella directory principale del sito, non in una sottocartella. Lo strumento lo scarica già con il nome robots.txt.
Posso controllare il robots.txt di un sito inserendo il suo URL?
Il tester non recupera il file dal sito: verifica solo il testo generato o un robots.txt che incolli. L’URL da provare viene confrontato con quelle regole nel browser, senza visitare la pagina.
Il robots.txt protegge le pagine riservate?
Il robots.txt è una richiesta ai crawler, non un controllo degli accessi. Non usarlo per proteggere contenuti riservati: alcuni bot potrebbero non rispettarlo.
Quale regola prevale tra Allow e Disallow?
Nel tester prevale la regola corrispondente più lunga; a parità di lunghezza vince Allow. I percorsi distinguono maiuscole e minuscole.
Posso inserire più sitemap nel robots.txt?
Inserisci un URL completo con http o https per riga. Lo strumento elimina i duplicati e scarta gli indirizzi che non sono URL assoluti.