Cómo se usa
- Elige Permitir todo, Bloquear todo o WordPress en Plantilla.
- Para definir tus propias rutas, usa Personalizado y escribe las rutas que quieres bloquear o permitir, una por línea.
- Selecciona Predeterminado, Permitir o Bloquear para cada bot que quieras configurar.
- Activa o desactiva Incluir comentario de cabecera según quieras añadir ese comentario al archivo.
- Descarga el archivo robots.txt con las reglas que has configurado.
Ejemplos
Blog de WordPress con sitemap
Bloquear: /wp-admin/ Permitir: /wp-admin/admin-ajax.php Sitemap: https://recetas.example/sitemap.xml Probar: /wp-admin/admin-ajax.php con Googlebot
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://recetas.example/sitemap.xml
Bloquear PDF: una URL con parámetros no coincide con $
Bloquear: /*.pdf$ Probar: /catalogos/verano.pdf?descarga=1 con Googlebot
User-agent: * Disallow: /*.pdf$
Preguntas frecuentes
¿Dónde se sube el archivo robots.txt?
Sube el archivo robots.txt al directorio raíz de tu sitio, para que esté disponible en https://tudominio.com/robots.txt. La herramienta lo descarga con el nombre robots.txt.
¿Robots.txt protege las páginas privadas?
Robots.txt es una petición a los rastreadores, no un control de acceso. No lo uses para proteger contenido privado.
¿Puedo verificar el robots.txt de una web indicando su URL?
El verificador no descarga el archivo de una web: trabaja con el texto generado o con un robots.txt que pegues. La URL que introduces sirve para probar sus reglas, sin visitar esa dirección.
¿Qué pasa si una ruta tiene reglas Allow y Disallow?
Gana la regla coincidente más larga; si ambas tienen la misma longitud, gana Allow. La coincidencia distingue entre mayúsculas y minúsculas.
¿Se guardan mis rutas y URL?
Las rutas, los sitemaps y los datos del verificador no se guardan entre visitas ni se suben para procesarlos. Solo se guardan en localStorage las opciones de plantilla, política, Crawl-delay, cabecera y estados de los bots.