Como usar
- Em Predefinição, selecione Permitir tudo, Bloquear tudo ou WordPress como ponto de partida.
- Para bloquear um bot específico, marque Bloquear na linha dele.
- Marque ou desmarque Incluir comentário no cabeçalho para escolher se o arquivo terá esse comentário.
- Preencha os campos de caminhos bloqueados e permitidos, um por linha, e informe os sitemaps como URLs completas com http ou https.
- Teste uma URL ou um caminho com o arquivo gerado; depois copie ou baixe o robots.txt.
Exemplos
WordPress com sitemap
Entrada
/wp-admin/ /wp-admin/admin-ajax.php https://www.receitasdamarina.com.br/sitemap_index.xml
Saída
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.receitasdamarina.com.br/sitemap_index.xml
Loja virtual: carrinho, filtros de ordenação e GPTBot bloqueado
Entrada
/carrinho/ /minha-conta/ /*?ordenar=* https://www.ateliepaulista.com.br/sitemap.xml
Saída
User-agent: * Disallow: /carrinho/ Disallow: /minha-conta/ Disallow: /*?ordenar=* User-agent: GPTBot Disallow: / Sitemap: https://www.ateliepaulista.com.br/sitemap.xml
Perguntas frequentes
Onde colocar o arquivo robots.txt?
Salve o arquivo gerado como robots.txt e envie-o para a raiz do site. Em um domínio como www.sualoja.com.br, ele deve ficar em https://www.sualoja.com.br/robots.txt.
O robots.txt protege páginas privadas?
O robots.txt é uma solicitação aos rastreadores, não um controle de acesso. Alguns bots podem não seguir as regras; não use o arquivo para proteger conteúdo privado.
Posso testar o robots.txt do meu site informando o endereço?
O testador não busca o arquivo publicado no site. Você pode verificar uma URL ou um caminho usando o arquivo gerado ou o conteúdo de um robots.txt colado.
As regras ficam salvas para a próxima visita?
Os caminhos, sitemaps, user-agents personalizados e dados do testador não ficam salvos. O navegador guarda apenas as opções do formulário, como a predefinição, o cabeçalho, o Crawl-delay e os estados dos bots.