Tạo robots.txt
Sửa quy tắc cho trình thu thập và nhận robots.txt ngay — không cần bấm nút, không tải lên gì.
Một URL đầy đủ; nó trở thành dòng Sitemap: ở cuối tệp.
Nâng cao: Crawl-delay
Áp dụng cho mọi nhóm. Trường này không thuộc RFC 9309; Google bỏ qua nó, trong khi một số trình thu thập khác vẫn tuân theo.
Cách sử dụng
- Bắt đầu từ một mẫu hoặc sửa nhóm mặc định: đặt user-agent (dùng “*” cho mọi trình thu thập), rồi thêm các đường dẫn bạn muốn cho phép hoặc chặn. Tệp cập nhật ngay khi bạn gõ — không có nút Tạo.
- Thêm nhóm khác khi các trình thu thập cần quy tắc khác nhau, ví dụ cho phép tất cả với “*” và chặn các trình thu thập AI như GPTBot và CCBot. URL Sitemap và Crawl-delay là tùy chọn.
- Sao chép kết quả hoặc tải xuống “robots.txt”, rồi tải lên thư mục gốc của trang (https://example.com/robots.txt). Mỗi tên miền con cần tệp riêng. Hãy kiểm tra hành vi trong Search Console hoặc một công cụ kiểm tra robots.txt khác trước khi tin dùng.
Ví dụ
Quy tắc
Nhóm 1: * — Disallow /admin/ Nhóm 2: GPTBot — Disallow / Sitemap: https://example.com/sitemap.xml
robots.txt
User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml
Các nhóm độc lập với nhau: “*” chỉ chặn /admin/, còn GPTBot bị chặn toàn bộ trang. Dòng Sitemap không thuộc nhóm nào. Số đếm hiển thị “Nhóm: 2 · Quy tắc: 2”.
Quy tắc, giới hạn và các vấn đề đã biết
- robots.txt là quy ước cho trình thu thập, không phải kiểm soát truy cập: nó không thể bảo vệ các trang riêng tư. Hãy dùng xác thực hoặc quy tắc máy chủ cho bất cứ thứ gì cần giữ kín.
- Google bỏ qua Crawl-delay (trường này không được định nghĩa trong RFC 9309); một số trình thu thập khác vẫn tuân theo. Trường này là tùy chọn và tắt mặc định, nên không gì được thêm vào trừ khi bạn nhập giá trị.
- Mẫu AI là danh sách chọn lọc các trình thu thập huấn luyện phổ biến — GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider và Applebot-Extended. Token thay đổi theo thời gian; hãy kiểm tra tài liệu của từng trình thu thập và sửa nhóm khi cần.
- Đường dẫn phân biệt chữ hoa/thường và hỗ trợ “*” cùng “$”. Quy tắc khớp dài nhất thắng, không phải quy tắc viết đầu tiên, nên một Allow phải cụ thể hơn Disallow mà nó ghi đè.
- Đường dẫn không phải ASCII được ghi dưới dạng UTF-8. Các trình thu thập cũ có thể cần URL mã hóa phần trăm, nên công cụ chỉ cảnh báo chứ không bao giờ viết lại những gì bạn nhập.
- Chỉ hỗ trợ một URL Sitemap. Để thêm, hãy sao chép kết quả và nối thêm các dòng “Sitemap:”. Công cụ không thu thập dữ liệu trang hay kiểm tra xem một URL có thật sự bị chặn không — hãy dùng công cụ kiểm tra bên ngoài cho việc đó.
- Không gì được tải lên hay lưu lại: các quy tắc chỉ tồn tại trong trang này. Mẫu thay thế các nhóm hiện tại nhưng giữ Sitemap và Crawl-delay; Đặt lại xóa mọi thứ. Không tài khoản, không lịch sử, không cấu hình chia sẻ được.
Công cụ liên quan
Những việc thường cần làm tiếp sau khi đã có tệp.