Robots.txt generatorverktøy

Robots.txt er en tekstfil som går inn i domeneroten og gjennomsøkes av søkemotorer. Den inneholder grundige retningslinjer angående indeksering av nettsider for crawlere. Nøyaktigheten og hastigheten til et nettsteds indeksering avhenger direkte av gyldigheten til en robots.txt-fil, slik at søkemotorer som Google kan identifisere hvilke sider fra et nettsted som ikke er relevante.

Dette verktøyet tillater rask generering av robots.txt-filer som må kopieres og lagres i domeneroten til et nettsted. For å generere en tekst trenger du bare å velge en søkemotor som du finner egnet for indeksering (eller du kan også velge å ikke indeksere noen søkemotorer du ønsker) og skrive inn nettstedets nettstedskart i en inndatalinje.