Nasıl kullanılır
- Hazır ayar bölümünden sitenize uygun seçeneği seçin.
- Engellenecek ve izin verilecek yolları ilgili kutulara, her satıra bir yol gelecek şekilde yazın; site haritası için tam http(s) adresi ekleyin.
- Tarama yapmasını istemediğiniz botlar için Engelle seçeneğini seçin.
- Dosyanın başına açıklama satırı eklemek için Başlık yorumu ekle seçeneğini işaretleyin.
- Test bölümüne bir yol veya URL girip bot seçin; sonucu kontrol ettikten sonra dosyayı indirip sitenizin kök dizinine yükleyin.
Örnekler
WordPress sitesi ve site haritası
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.ornekblog.com.tr/wp-sitemap.xml
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.ornekblog.com.tr/wp-sitemap.xml
Mağazada sepet, arama ve yapay zekâ botu kuralları
/sepet/ /arama?* /hesabim/ GPTBot: Engelle ClaudeBot: Engelle
User-agent: * Disallow: /sepet/ Disallow: /arama?* Disallow: /hesabim/ User-agent: GPTBot User-agent: ClaudeBot Disallow: / Sitemap: https://www.ornekmagaza.com.tr/sitemap.xml
Sık sorulan sorular
Robots.txt dosyası nereye yüklenir?
Dosyayı sitenizin kök dizinine yükleyin; adresi https://alanadiniz.com/robots.txt olmalıdır. Araç, indirilen dosyayı robots.txt adıyla kaydeder.
Robots.txt ile özel sayfalarımı koruyabilir miyim?
Robots.txt erişim kontrolü sağlamaz; botlara yönelik bir tarama talebidir. Özel sayfalarınızı korumak için yalnızca bu dosyaya güvenmeyin.
Sitemdeki mevcut robots.txt dosyasını URL ile kontrol edebilir miyim?
Araç sitenizdeki dosyayı URL üzerinden getirmez. Mevcut robots.txt metnini yapıştırarak bir URL'nin veya yolun seçtiğiniz bot için izinli olup olmadığını test edebilirsiniz.
Robots.txt kurallarında Türkçe karakter kullanabilir miyim?
Yollardaki Türkçe karakterler ve boşluklar UTF-8 yüzde kodlamasına dönüştürülür. Örneğin /ürünler/ yolu /%C3%BCr%C3%BCnler/ olarak yazılır.
Girdiğim yollar ve URL'ler kaydediliyor mu?
Yollar, site haritası adresleri ve test girdileri kaydedilmez; dosya oluşturma ve test işlemleri tarayıcınızda yapılır. Yalnızca hazır ayar, Crawl-delay, başlık yorumu ve bot seçimleri tarayıcınızın localStorage alanında saklanır.