Herramienta generadora de robots.txt

Robots.txt es un archivo de texto que va a la raíz del dominio y es rastreado por los motores de búsqueda. Contiene directivas detalladas sobre la indexación de páginas web para rastreadores. La precisión y la velocidad de la indexación de un sitio web dependen directamente de la validez de un archivo robots.txt, por lo que los motores de búsqueda como Google pueden identificar qué páginas de un sitio web no son relevantes.

Esta herramienta permite generar rápidamente archivos robots.txt que deben copiarse y guardarse en la raíz del dominio de un sitio web. Para generar un texto, solo necesita elegir un motor de búsqueda que considere adecuado para indexar (o también puede elegir no indexar ningún motor de búsqueda que desee) e ingresar el mapa del sitio de un sitio web en una barra de entrada.