Как пользоваться
- В разделе «Шаблон» выберите «Разрешить всё» для открытого сайта или «Запретить всё» для общего запрета обхода.
- Для нужных ботов выберите «Блок», чтобы добавить отдельный запрет обхода. Остальным оставьте «По умолчанию».
- Снимите флажок «Добавить комментарий в начало», если файл не должен содержать комментарий генератора.
- В разделе «Проверить URL» введите путь или URL для проверки правил.
- Нажмите «Копировать» или «Скачать», чтобы получить готовый robots.txt.
Примеры
WordPress с картой сайта
Исходные данные
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://pekarna-tula.ru/sitemap.xml
Результат
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://pekarna-tula.ru/sitemap.xml
Закрыть PDF-файлы без параметров и раздел с черновиками
Исходные данные
/*.pdf$ /черновики/
Результат
User-agent: * Disallow: /*.pdf$ Disallow: /%D1%87%D0%B5%D1%80%D0%BD%D0%BE%D0%B2%D0%B8%D0%BA%D0%B8/
Разрешить обход только Googlebot
Исходные данные
Общий запрет обхода с исключением для Googlebot
Результат
# robots.txt generated by AllRight Tools – https://allrighttools.com/robots-txt-generator/ User-agent: * Disallow: / User-agent: Googlebot Allow: /
Частые вопросы
Куда загрузить готовый robots.txt?
Разместите файл robots.txt в корне сайта. Скачиваемый файл уже имеет нужное имя и формат text/plain.
Можно ли проверить robots.txt сайта по URL?
Инструмент не загружает robots.txt с сайта и не обращается к проверяемому URL. Он проверяет путь по сгенерированным правилам или по тексту robots.txt, который вы вставили.
Что важнее: Allow или Disallow?
В проверке действует самое длинное совпавшее правило. При равной длине Allow имеет приоритет. Регистр символов в пути учитывается.
Защитит ли robots.txt закрытые страницы?
Robots.txt — просьба к роботам, а не ограничение доступа. Не используйте его как защиту конфиденциальных страниц.
Сохраняются ли правила после закрытия страницы?
Пути, адреса карт сайта, собственные User-agent и данные проверки не сохраняются. В localStorage остаются только настройки формы: шаблон, политика обхода, Crawl-delay, флажок комментария и состояния встроенных ботов.