Robots.txt generatorværktøj

Robots.txt er en tekstfil, der går ind i domænets rod og crawles af søgemaskiner. Den indeholder grundige direktiver vedrørende websiders indeksering for crawlere. Nøjagtigheden og hastigheden af et websteds indeksering afhænger direkte af gyldigheden af en robots.txt-fil, så søgemaskiner som Google kan identificere, hvilke sider fra et websted, der ikke er relevante.

Dette værktøj gør det muligt hurtigt at generere robots.txt-filer, som skal kopieres og gemmes i domæneroden på et websted. For at generere en tekst skal du blot vælge en søgemaskine, som du finder egnet til indeksering (eller du kan også vælge ikke at indeksere nogen søgemaskiner, du ønsker) og indtaste et websteds sitemap i en inputlinje.