Ferramenta geradora Robots.txt
Robots.txt é um arquivo de texto que entra na raiz do domínio e é rastreado pelos mecanismos de pesquisa. Ele contém diretrizes completas sobre a indexação de páginas da web para rastreadores. A precisão e a velocidade da indexação de um site dependem diretamente da validade de um arquivo robots.txt, portanto, mecanismos de pesquisa como o Google podem identificar quais páginas de um site não são relevantes.
Esta ferramenta permite a geração rápida de arquivos robots.txt que devem ser copiados e salvos na raiz do domínio de um site. Para gerar um texto, você só precisa escolher um mecanismo de pesquisa que considere adequado para indexação (ou também pode optar por não indexar nenhum mecanismo de pesquisa desejado) e inserir o mapa do site de um site em uma barra de entrada.