Генератор robots.txt
Правьте правила для роботов и сразу получайте robots.txt — без кнопок и без загрузки.
Полный URL; он станет строкой Sitemap: в конце файла.
Дополнительно: Crawl-delay
Применяется ко всем группам. Это не часть RFC 9309; Google его игнорирует, а некоторые другие роботы соблюдают.
Как пользоваться
- Начните с готового набора или отредактируйте группу по умолчанию: задайте user-agent («*» — все роботы), затем добавьте пути, которые нужно разрешить или запретить. Файл обновляется по мере ввода — кнопки «Создать» нет.
- Добавьте ещё одну группу, если разным роботам нужны разные правила: например, разрешить всё для «*» и заблокировать ИИ-роботов вроде GPTBot и CCBot. URL sitemap и Crawl-delay необязательны.
- Скопируйте результат или скачайте robots.txt и выложите его в корень сайта (https://example.com/robots.txt). Каждому поддомену нужен свой файл. Перед тем как полагаться на файл, проверьте поведение в Search Console или другом тестере robots.txt.
Пример
Правила
Группа 1: * — Disallow /admin/ Группа 2: GPTBot — Disallow / Sitemap: https://example.com/sitemap.xml
robots.txt
User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml
Группы независимы: «*» блокирует только /admin/, а GPTBot не может обходить весь сайт. Строка Sitemap не относится ни к одной группе. Счётчик показывает «Группы: 2 · Правила: 2».
Правила, ограничения и известные проблемы
- robots.txt — соглашение для роботов, а не контроль доступа: он не защищает приватные страницы. Для всего, что должно оставаться закрытым, используйте аутентификацию или правила сервера.
- Google игнорирует Crawl-delay (он не определён в RFC 9309); некоторые другие роботы его соблюдают. Поле необязательное и по умолчанию выключено, поэтому ничего не добавляется, пока вы не введёте значение.
- Набор для ИИ — подобранный список распространённых обучающих роботов: GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider и Applebot-Extended. Токены со временем меняются: сверяйтесь с документацией каждого робота и правьте группы при необходимости.
- Пути чувствительны к регистру и поддерживают «*» и «$». Побеждает самое длинное совпавшее правило, а не первое написанное, поэтому Allow должен быть конкретнее того Disallow, который он перекрывает.
- Не-ASCII пути записываются в UTF-8. Старые роботы могут требовать URL, закодированные процентами, поэтому инструмент предупреждает, но никогда не переписывает введённое.
- Поддерживается только один URL sitemap. Чтобы добавить ещё, скопируйте результат и допишите строки «Sitemap:». Инструмент не обходит сайт и не проверяет, действительно ли URL закрыт — для этого нужен внешний тестер.
- Ничего не загружается и не сохраняется: правила живут только на этой странице. Наборы заменяют текущие группы, но сохраняют Sitemap и Crawl-delay; «Сбросить» очищает всё. Аккаунта, истории и сохраняемой конфигурации нет.
Похожие инструменты
Что обычно нужно дальше, когда файл готов.