Robots.txt generátor eszköz

A Robots.txt egy szöveges fájl, amely a tartomány gyökerébe kerül, és a keresőmotorok feltérképezik. Alapos irányelveket tartalmaz a weboldalak feltérképező robotok számára történő indexelésére vonatkozóan. A webhely indexelésének pontossága és sebessége közvetlenül függ a robots.txt fájl érvényességétől, így a keresőmotorok, például a Google is azonosítani tudják, hogy egy webhely mely oldalai nem relevánsak.

Ez az eszköz lehetővé teszi a robots.txt fájlok gyors generálását, amelyeket át kell másolni és a webhely domain gyökerébe kell menteni. Szöveg generálásához csak ki kell választania egy keresőmotort, amelyet megfelelőnek talál az indexeléshez (vagy azt is választhatja, hogy nem indexel egyetlen keresőmotort sem), és be kell írnia egy webhely webhelytérképét a beviteli sávba.