Trình kiểm tra llms.txt: kiểm tra file của bạn cho crawler AI

Một trình kiểm tra llms.txt cho bạn biết liệu file bạn viết cho trợ lý AI có được đọc đúng như thiết kế hay không. Định dạng này được Jeremy Howard đề xuất vào tháng 9 năm 2024 như một file Markdown giúp tác nhân nắm “thông tin nền, hướng dẫn và liên kết” đến nội dung hữu ích nhất của một website, và được sửa thành phiên bản v2 vào tháng 8 năm 2026 (llmstxt.org, file /llms.txt). Markdown dễ tha thứ với con người nhưng nghiêm ngặt với bộ phân tích: thiếu một dấu “#” là file mất tiêu đề.

Trình kiểm tra llms.txt hoạt động như thế nào?

Nhập tên miền của bạn rồi chạy kiểm tra. Công cụ yêu cầu /llms.txt ở thư mục gốc của website, như một tác nhân AI sẽ làm, sau đó đọc từng dòng.

1. Nhập tên miền, ví dụ “yourdomain.com”. Không cần thêm /llms.txt.
2. Chạy phân tích. Nếu địa chỉ trả về lỗi, file trống hoặc một trang HTML (trường hợp thường gặp khi máy chủ trả về trang chủ cho mọi URL không tồn tại), báo cáo sẽ ghi rằng không tìm thấy llms.txt.
3. Đọc kết luận: “llms.txt hợp lệ” khi không có lỗi nào, “Có lỗi” trong trường hợp khác, kèm danh sách lỗi và cảnh báo.
4. Kiểm tra nội dung đã phân tích: tiêu đề và phần tóm tắt như bộ phân tích đã hiểu, số lượng mục và liên kết, cùng từng mục với các liên kết của nó.
5. Mở file gốc để so sánh với những gì bạn định đăng.

Công cụ miễn phí, có ba lần kiểm tra mỗi ngày và một bước chống bot. Để tạo file từ đầu, hãy dùng trình tạo llms.txt, rồi kiểm tra kết quả tại đây.

Trình kiểm tra kiểm tra những gì?

Năm kiểm tra, dựa trên định dạng được mô tả trong đề xuất. Hai vấn đề là lỗi vì khiến file vô dụng với bộ phân tích; ba vấn đề còn lại là cảnh báo.

Điểm llms.txt được tính như thế nào?

Mỗi kiểm tra trong năm kiểm tra có trọng số bằng nhau. Một kiểm tra đạt được 1 điểm, cảnh báo được nửa điểm, lỗi không được điểm nào; tổng điểm được quy đổi thành thang 100.

Các mức kết luận là: từ 75 trở lên (mạnh), từ 60 đến 74 (tốt, còn chỗ để cải thiện), từ 40 đến 59 (cần làm thêm) và dưới 40 (thiếu sót nghiêm trọng). Hãy xem danh sách lỗi trước: một file có một lỗi là không hợp lệ, bất kể điểm số. Vì một file tồn tại và tránh các liên kết lạ luôn giữ được một số điểm, nên mọi file llms.txt mà công cụ đọc được sẽ có ít nhất 40 điểm.

Một file llms.txt hợp lệ trông như thế nào?

Một file Markdown ngắn, theo thứ tự cố định: tiêu đề H1, phần tóm tắt trong khối trích dẫn, các đoạn bối cảnh tùy chọn, rồi các mục liên kết với một ghi chú ngắn sau mỗi liên kết. Đề xuất bổ sung một mục tên “Optional” dành cho các liên kết mà tác nhân có thể bỏ qua khi cần bối cảnh ngắn hơn.

# Tiệm bánh Mẫu

> Tiệm bánh Mẫu là một tiệm bánh hữu cơ ở Lyon, Pháp, bán bánh mì bột chua và bánh ngọt tại hai cửa hàng cùng trực tuyến.

Đơn đặt trước 12 giờ trưa sẽ được giao trong ngày tại Lyon.

## Sản phẩm
- [Bánh mì](https://example.com/bread): các ổ bánh mì bột chua và bánh mì nguyên cám, giá
- [Bánh ngọt](https://example.com/pastries): bánh ngọt theo mùa và bánh kem đặt trước

## Thông tin thực tế
- [Cửa hàng và giờ mở cửa](https://example.com/shops): địa chỉ và giờ mở cửa của hai cửa hàng
- [Giao hàng](https://example.com/delivery): khu vực, phí và thời gian

## Optional
- [Câu chuyện của chúng tôi](https://example.com/about): lịch sử tiệm bánh từ năm 1998

Chạy ví dụ này qua trình kiểm tra và nó sẽ đạt cả năm kiểm tra. Sorank công bố file riêng tại sorank.com/llms.txt, được xây dựng theo cùng cấu trúc. Bài hướng dẫn về cách cài đặt file llms.txt của chúng tôi trình bày cách tải file lên CMS chính.

Trình kiểm tra thường bắt được những lỗi nào nhất?

• Một trang HTML thay vì file. Một số CMS và ứng dụng một trang trả về trang chủ với mã trạng thái 200 khi có yêu cầu /llms.txt. Trình kiểm tra nhận ra HTML và báo file bị thiếu.
• Tiêu đề in đậm thay vì H1. “**Tiệm bánh Mẫu**” không phải là tiêu đề đối với bộ phân tích; “# Tiệm bánh Mẫu” thì đúng.
• URL trần. Danh sách địa chỉ không có cú pháp [tên](url) khiến tác nhân không có tên và không có bối cảnh.
• Liên kết tương đối không có dấu gạch chéo. “bread.html” không rõ ràng; hãy dùng “https://example.com/bread” hoặc “/bread”.
• File quá lớn. Đề xuất yêu cầu một tổng quan được chọn lọc, “đủ nhỏ để nằm gọn trong ngữ cảnh”. Sitemap của bạn đã liệt kê mọi URL; llms.txt chỉ chọn những URL quan trọng.

llms.txt có giúp bạn xuất hiện trong câu trả lời AI không?

Nó giúp các tác nhân, không giúp thứ hạng. Google nêu rõ không có “yêu cầu bổ sung nào để xuất hiện trong AI Overviews hoặc AI Mode” và “bạn không cần tạo các tệp máy đọc được mới, tệp văn bản AI hay đánh dấu để xuất hiện trong các tính năng này” (Google Search Central, các tính năng AI và trang web của bạn). Dù thế nào đi nữa, các crawler tìm kiếm vẫn tìm thấy trang của bạn qua liên kết và sitemap.

File này hữu ích trong các tình huống khác: khi một tác nhân lập trình hay trợ lý có chức năng duyệt web đọc website của bạn để trả lời một câu hỏi cụ thể, một llms.txt gọn gàng sẽ chỉ cho nó đúng trang chỉ trong một yêu cầu. Đề xuất ghi nhận rằng định dạng này được dùng nhiều nhất cho tài liệu phần mềm, và OpenAI, Anthropic cùng Gemini đều công bố file này cho tài liệu dành cho nhà phát triển của họ. Hãy coi đây là một bổ sung rẻ và ít rủi ro, không phải đòn bẩy để tăng mức hiển thị. Về các định nghĩa, xem các mục trong bảng thuật ngữ của chúng tôi về llms.txt và llms-full.txt.

llms.txt khác robots.txt và sitemap ở điểm nào?

robots.txt được chuẩn hóa dưới dạng Giao thức loại trừ robot (Robots Exclusion Protocol) (IETF, RFC 9309), và một file sitemap có thể chứa tối đa 50.000 URL (giao thức sitemaps.org). llms.txt chưa có trạng thái chuẩn như vậy: đây là một đề xuất công khai, lý do công cụ bám sát định dạng đã công bố của nó. Ba file này hoạt động cùng nhau. Một trang được liệt kê trong llms.txt nhưng bị chặn trong robots.txt sẽ không được đọc bởi crawler tôn trọng việc chặn đó: hãy kiểm tra quyền truy cập bằng trình kiểm tra robots.txt và kiểm toán khả năng thu thập dữ liệu bằng AI.

Trình kiểm tra có những giới hạn nào?

• Chỉ kiểm tra file ở thư mục gốc. Phiên bản 2 của đề xuất cũng cho phép file nằm dưới một đường dẫn, chẳng hạn /docs/llms.txt; hãy kiểm tra những file đó bằng tay.
• Không mở các liên kết. Một liên kết tới trang đã xóa vẫn qua được kiểm tra định dạng. Hãy kiểm tra các URL bằng trình kiểm tra liên kết hỏng.
• Nghiêm ngặt hơn đề xuất ở phần liên kết. Đề xuất chỉ yêu cầu H1; trình kiểm tra coi một file không có liên kết là lỗi, vì một file không có liên kết không đưa tác nhân đi đâu cả.
• Không đánh giá nội dung. Một file đúng định dạng vẫn có thể mô tả website kém hoặc trỏ tới các trang yếu.

Từ một file hợp lệ đến mức hiển thị AI thực sự

Một llms.txt hợp lệ có tiêu đề, phần tóm tắt, các mục và liên kết sạch, và giữ được sự ngắn gọn. File này giúp tác nhân đọc website dễ hơn; còn việc được trích dẫn lại phụ thuộc vào các trang phía sau liên kết. Theo dõi mức độ được nhắc đến trong AI của Sorank cho thấy, từng prompt một, ChatGPT, Claude hay Gemini có trích dẫn bạn hay không, còn trình tạo bài viết blog xuất bản các trang trả lời trước, đúng loại mà họ trích dẫn. Xem các gói Sorank để tăng mức hiển thị AI của bạn trên autopilot.