Tóm tắt
Trình kiểm tra robots.txt miễn phí đọc file robots.txt trực tiếp của bất kỳ tên miền nào và hiển thị các nhóm quy tắc, sitemap, lỗi phát hiện được và trạng thái của 14 crawler AI (được phép, một phần hoặc bị chặn), từ GPTBot và OAI-SearchBot đến ClaudeBot, PerplexityBot và Google-Extended. Hãy dùng công cụ này sau mỗi lần thay đổi file, và bất cứ khi nào trang của bạn ngừng xuất hiện trên Google hoặc trong câu trả lời của AI.
Muốn tìm hiểu sâu hơn? Hãy hỏi
Một trình kiểm tra robots.txt phát hiện dòng lệnh âm thầm chặn cả trang web. Robots.txt là một chuẩn công khai (RFC 9309) mà mọi crawler lớn đều đọc trước khi truy cập một trang web, và các crawler AI đã làm số lượng bot phải xử lý tăng lên nhiều lần. Từ tháng 5 năm 2024 đến tháng 5 năm 2025, GPTBot tăng từ 5% lên 30% trong lưu lượng crawler AI, còn Meta-ExternalAgent đạt 19% (Cloudflare, ai đang thu thập dữ liệu trang web của bạn năm 2025). File của bạn phải nói điều hợp lý với tất cả chúng.
Trình kiểm tra robots.txt hiển thị những gì?
Nhập một tên miền, công cụ sẽ tải https://yourdomain/robots.txt, theo các chuyển hướng, phân tích file và trả về năm phần.
| Phần | Nội dung hiển thị | Cần kiểm tra |
|---|---|---|
| Nhóm quy tắc | Số nhóm User-agent có trong file | Bằng 0 nghĩa là không đọc được cú pháp |
| Sitemap | Mọi dòng Sitemap tìm thấy | Ít nhất một URL đầy đủ tới sitemap của bạn |
| Bot AI bị chặn | Số crawler AI trong 14 bot bị chặn hoàn toàn | Chỉ những bot bạn chủ động chặn |
| Lỗi | Các vấn đề được phát hiện, kèm khuyến nghị | Bằng 0, hoặc chỉ gồm những lựa chọn có chủ đích |
| File gốc | Robots.txt đúng như máy chủ trả về | Đó đúng là file bạn nghĩ mình đã đăng |
Nếu tên miền không có robots.txt, hoặc trả về một trang HTML thay vì văn bản thuần, công cụ sẽ báo và khuyến nghị thêm file. Phiên bản miễn phí chạy 3 lần kiểm tra mỗi ngày.
Công cụ quyết định một bot AI có bị chặn hay không như thế nào?
Với mỗi crawler AI trong 14 bot, công cụ tìm một nhóm nêu đích danh bot đó. Nếu không có, nó dùng nhóm User-agent: *. Sau đó, công cụ áp dụng ba trạng thái.
| Trạng thái | Quy tắc tìm thấy trong nhóm | Ý nghĩa |
|---|---|---|
| Được phép | Không có nhóm nào áp dụng, hoặc nhóm không có quy tắc Disallow | Bot có thể thu thập toàn bộ trang web |
| Một phần | Quy tắc Disallow chỉ áp dụng cho một số đường dẫn | Bot có thể thu thập trang web, trừ các đường dẫn đó |
| Bị chặn | Disallow: / không kèm Allow: / | Bot được yêu cầu không truy cập toàn bộ trang web |
14 crawler được kiểm tra gồm: GPTBot, OAI-SearchBot và ChatGPT-User (OpenAI), ClaudeBot, Claude-Web và anthropic-ai (Anthropic), PerplexityBot và Perplexity-User, Google-Extended, Applebot-Extended, CCBot (Common Crawl), Amazonbot, Bytespider (ByteDance) và Meta-ExternalAgent. Bảng này cũng hiển thị nhà cung cấp và mục đích của từng bot, để bạn thấy ngay mình đang chặn việc huấn luyện, tìm kiếm hay truy cập trực tiếp.
Bạn nên cho phép những crawler AI nào?
Hãy cho phép các crawler đưa trang của bạn vào câu trả lời của AI. Chặn crawler huấn luyện là một lựa chọn kinh doanh; chặn crawler tìm kiếm thường là một sai lầm.
- OAI-SearchBot: các trang web từ chối sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT. GPTBot chỉ liên quan đến huấn luyện mô hình, và hai cài đặt này độc lập với nhau (Tổng quan về crawler của OpenAI).
- PerplexityBot: bot này đưa và liên kết trang web trong kết quả của Perplexity, và không được dùng để huấn luyện mô hình nền tảng (Crawler của Perplexity).
- Google-Extended: một mã thông báo dùng cho việc huấn luyện và truy xuất dữ liệu của Gemini, không ảnh hưởng đến việc trang được đưa vào Google Tìm kiếm hay thứ hạng (Crawler phổ biến của Google).
- Anthropic: ClaudeBot thu thập dữ liệu huấn luyện, còn Claude-SearchBot và Claude-User phục vụ tìm kiếm và yêu cầu của người dùng; chặn hai bot sau có thể làm giảm mức hiển thị của bạn trên Claude (Chính sách crawler của Anthropic).
Phần lớn trang web chưa bao giờ phải quyết định. Ngày 6 tháng 6 năm 2025, chỉ khoảng 14% trong 10.000 tên miền hàng đầu có robots.txt là có quy tắc nhắm vào bot AI, và GPTBot vừa là bot bị chặn nhiều nhất (312 tên miền) vừa là bot được cho phép rõ ràng nhiều nhất (61 tên miền), theo cùng nghiên cứu của Cloudflare. Các bot không được nêu tên trong file mặc định được cho phép.
Các lỗi phổ biến nhất có nghĩa là gì?
| Lỗi được báo | Vì sao quan trọng | Cách sửa |
|---|---|---|
| User-agent: * bị chặn toàn bộ trang web | Mọi crawler không có nhóm riêng, kể cả Googlebot, đều được yêu cầu không truy cập | Xóa Disallow: / khỏi nhóm *, trừ khi đó là bản thử nghiệm (staging) |
| Thiếu chỉ thị Sitemap | Các crawler mà bạn chưa gửi sitemap tới, chẳng hạn Bing hoặc crawler AI, có thể không tìm thấy nó | Thêm Sitemap: https://yourdomain/sitemap.xml |
| Một bot AI được nêu tên đang bị chặn | Nhà cung cấp đó sẽ không thu thập trang của bạn | Chỉ giữ nếu việc chặn bot đó là lựa chọn có chủ đích |
| Không phân tích được nhóm User-agent nào | File không có quy tắc hợp lệ nào, nên không giới hạn gì cả | Kiểm tra cú pháp: Trường: giá trị, mỗi quy tắc trên một dòng |
| Không tìm thấy robots.txt | Bản thân đây không phải lỗi: khi đó Google thu thập toàn bộ trang | Vẫn nên thêm file, để khai báo sitemap và các lựa chọn của bạn đối với crawler AI |
Google xử lý file robots.txt bị thiếu hoặc lỗi khác nhau tùy theo mã trạng thái HTTP. Phản hồi 4xx (trừ 429) nghĩa là không có hạn chế nào. Phản hồi 5xx được coi là lỗi máy chủ: Google tạm dừng thu thập 12 giờ, sau đó dùng bản sao hợp lệ gần nhất trong tối đa 30 ngày (Google, cách Google diễn giải đặc tả robots.txt). Vì vậy, một robots.txt liên tục gặp lỗi máy chủ có thể làm đông cứng việc thu thập của một trang web đang hoạt động tốt.
Cách sửa lỗi robots.txt từng bước như thế nào?
- Đọc file gốc trong báo cáo để xác nhận file thực sự đang trực tuyến. Bộ nhớ đệm CDN và các lần triển khai thử nghiệm thường trả về phiên bản cũ.
- Viết lại file bằng trình tạo robots.txt, công cụ tạo các nhóm gọn gàng, quy tắc Allow và Disallow cùng dòng Sitemap.
- Tải file lên thư mục gốc của từng máy chủ. Một tên miền phụ như blog.example.com cần file riêng.
- Chạy lại trình kiểm tra và xác nhận các trạng thái đã thay đổi.
- Báo cho Google nếu việc sửa là khẩn cấp. Báo cáo robots.txt trong Search Console hiển thị các file Google tìm thấy cho 20 máy chủ hàng đầu của bạn và cho phép yêu cầu thu thập lại (Trợ giúp Search Console, báo cáo robots.txt). Nếu không, Google sẽ làm mới bản sao lưu trong khoảng 24 giờ.
Sau đó hãy kiểm tra chính các trang. Một trang được mở trong robots.txt vẫn có thể bị loại khỏi chỉ mục bởi thẻ noindex hoặc thẻ canonical trỏ sang nơi khác: trình kiểm tra khả năng lập chỉ mục kiểm tra tất cả những điều này trên một URL. Để xem toàn bộ trang web những gì crawler AI có thể đọc, hãy chạy kiểm toán khả năng thu thập dữ liệu bằng AI.
Trình kiểm tra robots.txt có những giới hạn nào?
- Trạng thái được tổng hợp theo từng bot, không theo từng URL. “Một phần” cho biết một số đường dẫn đã bị đóng; hãy đọc các quy tắc để xem đó là những đường nào.
- Một nhóm cho mỗi bot. Nếu bạn tách các quy tắc của cùng một bot ra nhiều nhóm, Google sẽ gộp chúng lại. Trong trường hợp đó, hãy đọc file gốc.
- Chỉ tên miền gốc. Công cụ đọc file của tên miền bạn nhập, không có www, và theo các chuyển hướng. Hãy kiểm tra riêng từng tên miền phụ.
- Danh sách 14 bot. Các user-agent mới hơn như Claude-SearchBot và Claude-User chưa có trong bảng: hãy tìm chúng trong file gốc.
- Robots.txt chỉ là một yêu cầu. Các crawler uy tín làm theo, các crawler lạm dụng thì không, và các lượt truy cập do người dùng kích hoạt, chẳng hạn ChatGPT-User hoặc Perplexity-User, có thể không áp dụng nó, như OpenAI và Perplexity đều ghi trong tài liệu.
Để hiểu các thuật ngữ đằng sau những kiểm tra này, hãy xem các mục trong bảng thuật ngữ của chúng tôi về robots.txt và crawler AI.
Làm sao để bảo đảm trợ lý AI có thể tìm thấy và trích dẫn bạn?
Một robots.txt mở chỉ là điều kiện, không phải kết quả. Khi crawler đã đọc được trang web của bạn, hãy đo xem trợ lý AI có thực sự sử dụng nó hay không.
- Theo dõi thương hiệu của bạn trong câu trả lời AI với Theo dõi mức độ được nhắc đến trong AI của Sorank, công cụ kiểm tra hàng tháng xem ChatGPT, Claude và Gemini có nhắc đến bạn hay không và họ trích dẫn những nguồn nào.
- Theo dõi lượt truy cập từ AI cùng với lượt nhấp từ Google trong bảng điều khiển GEO và SEO.
- Cung cấp cho crawler các trang mới để đọc, với trình lập kế hoạch blog, công cụ lấp đầy lịch đăng bài và xuất bản đúng hẹn.
Một dòng sai trong robots.txt có thể giấu trang của bạn khỏi Google và khỏi mọi trợ lý AI cùng lúc. Hãy kiểm tra file của bạn ở trên sau mỗi lần thay đổi, rồi xem các gói Sorank để theo dõi khả năng thu thập dữ liệu và mức hiển thị AI của bạn trên autopilot.
