Kiểm tra khả năng thu thập dữ liệu của website cho AI: Các bot AI có thực sự truy cập được website của bạn không?

Một kiểm tra khả năng thu thập dữ liệu của website cho AI trả lời một câu hỏi đơn giản: các AI mà khách hàng của bạn dùng có đọc được website của bạn không? Mỗi công ty công bố tên bot mà họ dùng trong robots.txt, và mỗi cài đặt hoạt động độc lập. Ví dụ, OpenAI giải thích rằng một website có thể cho phép OAI-SearchBot xuất hiện trong kết quả tìm kiếm của ChatGPT, đồng thời chặn GPTBot để giữ nội dung ngoài việc huấn luyện mô hình (OpenAI, tổng quan về các bot của OpenAI). Vì vậy, chỉ một dòng trong robots.txt cũng có thể khiến bạn biến mất khỏi câu trả lời của AI mà bạn không hề hay biết.

Công cụ kiểm tra những bot thu thập dữ liệu AI nào?

Công cụ kiểm tra 14 tác nhân người dùng. Năm trong số đó, được đánh dấu bên dưới, phục vụ tìm kiếm và các câu trả lời trực tiếp: chặn chúng đồng nghĩa với việc bạn biến mất khỏi các câu trả lời mà mọi người đọc hôm nay.

Anthropic hiện ghi tài liệu cho ba bot: ClaudeBot để huấn luyện, Claude-User cho các trang được tải về khi ai đó hỏi Claude, và Claude-SearchBot để nâng cao chất lượng tìm kiếm (Trung tâm trợ giúp Claude, các bot của Anthropic). Nếu bạn muốn được Claude trích dẫn, hãy cho phép hai bot sau trong robots.txt của bạn.

Làm sao để chạy kiểm tra?

1. Nhập tên miền của bạn, chẳng hạn tenmien.com. Công cụ đọc https://tenmien.com/robots.txt và trang chủ.
2. Đọc bốn con số ở đầu trang: bot tìm kiếm được phép, bot bị chặn, số bot đã kiểm tra và số sơ đồ trang đã khai báo.
3. Quét bảng bot thu thập dữ liệu: mỗi dòng hiển thị công ty, vai trò, trạng thái và quy tắc quyết định trạng thái đó.
4. Sửa các vấn đề được liệt kê dưới mục “Cách cải thiện”, rồi chạy lại kiểm tra.

Công cụ miễn phí, với 3 lần kiểm tra mỗi ngày và không cần tài khoản.

Điểm khả năng thu thập dữ liệu cho AI được tính như thế nào?

Mỗi bot thu thập dữ liệu được tính là một lần kiểm tra: được phép nhận đủ điểm, một phần nhận nửa điểm, bị chặn không nhận điểm nào. Năm bot tìm kiếm có trọng số gấp đôi các bot huấn luyện, và chỉ thị noindex trên trang chủ, trong thẻ meta robots hoặc trong tiêu đề X-Robots-Tag, được tính gấp đôi như một lỗi. Điểm số là tỷ lệ điểm đạt được.

Điểm số thưởng cho sự cởi mở. Nếu bạn giữ năm bot tìm kiếm được mở và chặn chín bot còn lại, điểm của bạn sẽ khoảng 57: đây là một lựa chọn có chủ đích, không phải lỗi. Trong trường hợp đó, hãy xem trước con số “Bot tìm kiếm OK”, con số này phải hiển thị 5/5.

Được phép, một phần và bị chặn có nghĩa là gì?

Công cụ áp dụng các quy tắc robots.txt giống như cách các bot thu thập dữ liệu làm: nó lấy nhóm được viết riêng cho bot theo tên, hoặc nhóm “User-agent: *” nếu không có nhóm nào.

• Được phép: không có nhóm nào áp dụng, hoặc nhóm không có quy tắc Disallow.
• Một phần: một số đường dẫn bị cấm, chẳng hạn /admin/ hoặc /cart/. Thường thì điều này không sao; hãy kiểm tra để chắc các trang nội dung của bạn không nằm trong danh sách đó.
• Bị chặn: “Disallow: /” mà không có “Allow: /”, nên bot có thể không đọc được trang nào.

Các quy tắc tuân theo Giao thức loại trừ robot được IETF chuẩn hóa trong RFC 9309, tài liệu này cũng nhắc chủ website rằng các quy tắc đó “không phải là một hình thức cấp quyền truy cập” (RFC 9309, Giao thức loại trừ robot). Robots.txt là một yêu cầu mà các bot tuân thủ đúng mực sẽ tôn trọng, không phải một ổ khóa.

Nên chặn bot AI hay cho chúng vào?

Hãy tách hai mục đích sử dụng. Bot tìm kiếm mang lại trích dẫn và lượt truy cập; bot huấn luyện cung cấp dữ liệu cho các mô hình trong tương lai. Hầu hết các công ty muốn được gợi ý sẽ mở nhóm thứ nhất và quyết định theo từng trường hợp với nhóm thứ hai.

Hai làm rõ chính thức giúp đưa ra quyết định. Google nêu rõ rằng Google-Extended không ảnh hưởng đến việc website của bạn có được đưa vào Google Search hay không và không phải là tín hiệu xếp hạng (Google, các bot thu thập dữ liệu phổ biến). Perplexity nêu rõ rằng PerplexityBot đưa website lên kết quả tìm kiếm của họ và không được dùng để huấn luyện các mô hình nền tảng của AI (Perplexity, tài liệu về bot thu thập dữ liệu). Applebot-Extended của Apple chỉ kiểm soát việc huấn luyện: Apple lưu ý rằng nội dung của bạn vẫn có thể được tìm thấy qua Spotlight, Siri và Safari (Hỗ trợ Apple, về Applebot).

Làm sao để sửa một bot thu thập dữ liệu AI bị chặn?

Chỉnh sửa tệp robots.txt ở thư mục gốc của tên miền. Để mở tìm kiếm ChatGPT nhưng vẫn giữ GPTBot ở ngoài, hãy thêm hai nhóm:

• User-agent: OAI-SearchBot theo sau là Allow: /
• User-agent: GPTBot theo sau là Disallow: /

Sau đó kiểm tra ba điều thường làm hỏng thay đổi này.

1. Quy tắc của CDN hoặc tường lửa chặn các tác nhân người dùng AI trước cả khi robots.txt được đọc. Một số CDN có công tắc một nút để chặn bot AI.
2. Một noindex trong thẻ meta hoặc tiêu đề X-Robots-Tag, mà công cụ báo cáo riêng.
3. Độ trễ: OpenAI và Perplexity đều cho biết thay đổi có thể mất khoảng 24 giờ mới được ghi nhận.

Công cụ kiểm tra robots.txt xác thực cú pháp, và công cụ tạo robots.txt viết một tệp gọn gàng. Mục bảng chú giải về bot thu thập dữ liệu AI giải thích chi tiết hơn về từng bot.

Vì sao công cụ xem xét sơ đồ trang và noindex?

Vì chỉ truy cập được thì chưa đủ: các bot còn cần tìm thấy các trang của bạn và được phép sử dụng chúng. Dòng “Sitemap:” trong robots.txt chỉ cho mọi bot đến danh sách URL của bạn, còn noindex trên trang chủ bảo các hệ thống tìm kiếm loại website khỏi kết quả. Google xác nhận rằng để xuất hiện như một liên kết hỗ trợ trong Tổng quan AI hoặc chế độ AI Mode, một trang phải được lập chỉ mục và đủ điều kiện hiển thị đoạn trích (Google, các tính năng AI và website của bạn). Để xem từng trang, hãy dùng công cụ kiểm tra khả năng lập chỉ mục và công cụ kiểm tra sơ đồ trang.

Công cụ kiểm tra này có những giới hạn nào?

• Nó đọc các quy tắc, không đọc lưu lượng: nó không thể thấy liệu một bot có thực sự ghé thăm bạn hay không. Nhật ký máy chủ của bạn mới cho biết điều đó.
• Thiếu robots.txt được tính là mở: khi không đọc được tệp, mọi bot được hiển thị là được phép. Nếu tệp trả về lỗi máy chủ, các bot có thể thay vào đó coi toàn bộ website là bị chặn, như RFC 9309 quy định, nên hãy kiểm tra mã trạng thái của tệp.
• Tường lửa không hiển thị trong kết quả: một bot bị chặn ở cấp CDN vẫn được hiển thị là được phép.
• Bot mới xuất hiện thường xuyên: danh sách bao gồm các công ty AI chính, không phải mọi bot trên web.

Từ cánh cửa mở đến trích dẫn thực sự

Một robots.txt mở tạo điều kiện cho trích dẫn; nó không tự tạo ra trích dẫn. Khi các bot có thể đọc bạn, hãy kiểm tra xem ChatGPT có thực sự trích dẫn bạn không bằng công cụ kiểm tra khả năng hiển thị ChatGPT. Sau đó, Theo dõi lượt nhắc đến AI của Sorank theo dõi các trích dẫn của bạn trong ChatGPT, Gemini và Claude mỗi tháng, và công cụ tạo bài viết blog xuất bản các trang mà các AI đó thích trích dẫn. Xem các gói của Sorank để chạy trên autopilot.