Robots.txt cho bot AI: nên cho phép và nên chặn những gì

Bài trắc nghiệm nhanh

Làm sao để được ChatGPT và các trợ lý AI khác nhắc đến?

Câu hỏi 1 trên 425%

Bạn muốn biết hoặc thay đổi điều gì?

Chỉ muốn xem các trợ lý AI có nhắc đến doanh nghiệp của tôi khôngTheo dõi theo thời gian so với đối thủ cạnh tranhĐược nhắc đến thường xuyên hơn, bắt đầu ngay bây giờ

Robots.txt cho bot AI đã trở thành một quyết định kinh doanh, không chỉ là một tệp kỹ thuật. Cùng một tệp từng chỉ nói chuyện với Googlebot nay quyết định việc ChatGPT, Claude, Perplexity và Gemini có thể đọc, trích dẫn và liên kết đến trang của bạn hay không. Định dạng vẫn không đổi: đó vẫn là Giao thức Loại trừ Robot được chuẩn hóa thành RFC 9309, với các dòng user agent, Allow và Disallow. Điều thay đổi là số lượng tác nhân và việc một nhà cung cấp có thể chạy nhiều bot với mục đích khác nhau.

Có những bot thu thập AI nào và chúng làm gì?

Hầu hết các nhà cung cấp AI giờ tách việc huấn luyện, lập chỉ mục tìm kiếm và việc lấy trang theo yêu cầu người dùng thành các user agent khác nhau. Bảng dưới đây tóm tắt các bot chính theo tài liệu của từng nhà cung cấp.

Nguồn: tài liệu về bot thu thập của OpenAI và danh sách các bot thu thập phổ biến của Google. Tên bot thỉnh thoảng thay đổi, nên hãy kiểm tra trang của từng nhà cung cấp trước khi sửa tệp. Các mục từ điển của chúng tôi về bot thu thập AI và bot thu thập của OpenAI giữ phần định nghĩa ngắn gọn.

Có nên chặn bot thu thập AI không?

Với phần lớn doanh nghiệp muốn có khách hàng, không: nếu cần thì chặn việc huấn luyện, nhưng giữ các bot tìm kiếm mở. Sự đánh đổi phụ thuộc vào thứ bạn bán:

• Thương hiệu, SaaS, thương mại điện tử, doanh nghiệp địa phương: câu trả lời AI là một kênh thu hút khách. Chặn bot tìm kiếm sẽ loại bạn khỏi kênh đó. Cho phép bot huấn luyện cũng giúp các mô hình tương lai biết đến thương hiệu của bạn.
• Nhà xuất bản sống nhờ lượt xem trang hoặc đăng ký: chặn bot huấn luyện bảo vệ giá trị nội dung; giữ bot tìm kiếm mở vẫn mang lại trích dẫn và liên kết.
• Trang có nội dung riêng tư hoặc được cấp phép: chặn rộng và thực thi trên máy chủ, vì robots.txt chỉ là một yêu cầu chứ không phải cơ chế kiểm soát truy cập.

Một robots.txt được khuyến nghị trông như thế nào?

Các nhóm riêng cho từng user agent, với bot tìm kiếm được cho phép và một lựa chọn rõ ràng cho bot huấn luyện. Ví dụ cho doanh nghiệp muốn hiển thị trên AI nhưng không muốn cung cấp dữ liệu huấn luyện:

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Disallow: /admin/
Sitemap: https://www.example.com/sitemap.xml

Bỏ nhóm thứ hai nếu bạn đồng ý để nội dung được dùng trong huấn luyện. Trình tạo robots.txt miễn phí của chúng tôi sẽ dựng tệp này, còn công cụ kiểm tra robots.txt cho biết những bot nào thực sự được phép trên tệp đang chạy.

Những lỗi nào vô tình chặn khả năng hiển thị trên AI?

Lỗi phổ biến nhất là một quy tắc chung sao chép từ diễn đàn. Các lỗi thường gặp:

• “User-agent: * / Disallow: /” còn sót lại từ môi trường thử nghiệm, chặn mọi bot kể cả Googlebot.
• Chặn OAI-SearchBot trong khi định chặn GPTBot, khiến bạn biến mất khỏi tìm kiếm ChatGPT thay vì chỉ ngừng dùng để huấn luyện.
• Quy tắc chống bot của CDN hoặc tường lửa trả về mã 403 cho user agent AI bất kể robots.txt. Hãy kiểm tra nhật ký máy chủ.
• Chặn CSS và JavaScript cần thiết để hiển thị trang, nên bot chỉ thấy một khung rỗng.
• Nội dung quan trọng chỉ được tải ở phía trình duyệt; nhiều bot AI không chạy JavaScript, nên hãy đưa nội dung chính vào HTML.

robots.txt có đủ để được trích dẫn không?

Không, nó chỉ mở cửa. Khi bot đã đọc được trang, việc được trích dẫn phụ thuộc vào việc trang có trả lời câu hỏi rõ ràng, có cấu trúc dễ trích xuất và được xác nhận bởi các nguồn khác hay không. Dữ liệu có cấu trúc sạch cho tìm kiếm AI, các phần đi thẳng vào câu trả lời và tệp llms.txt tùy chọn sẽ hỗ trợ bước tiếp theo.

Kết luận

Hãy coi mỗi bot AI là một quyết định riêng: mở các bot tìm kiếm và bot lấy trang theo yêu cầu, chọn có cân nhắc với bot huấn luyện, và kiểm tra máy chủ có áp dụng đúng chính sách đó không. Sau đó, hãy đo xem cánh cửa đã mở có chuyển thành trích dẫn hay không. Sorank theo dõi thương hiệu của bạn trên ChatGPT, Claude và Gemini mỗi tháng và xuất bản nội dung được cấu trúc để được trích dẫn: bắt đầu với bản dùng thử miễn phí 3 ngày.