llms.txt: Tệp hướng dẫn được đề xuất cho các trang web thân thiện với AI

Suốt 20 năm, robots.txt là cách để giao tiếp với các bot thu thập dữ liệu của công cụ tìm kiếm. Bạn đặt tệp này ở thư mục gốc của trang web để cho Google và Bing biết trang nào cần thu thập và trang nào cần bỏ qua. Giờ đây, các trợ lý AI của OpenAI, Anthropic, Google và những đơn vị khác cũng đọc web, và chúng có nhu cầu khác. llms.txt là một đề xuất để giao tiếp với các trợ lý này.

Đề xuất llms.txt, được Jeremy Howard, đồng sáng lập Answer.AI, công bố vào năm 2024, được thiết kế để giúp các mô hình ngôn ngữ hiểu trang web của bạn nói về điều gì và tìm ra những trang hữu ích nhất. Thay vì buộc một hệ thống AI phải đoán xem trang web của bạn là cửa hàng thương mại điện tử, trang tin tức hay trang tài liệu kỹ thuật, llms.txt nói thẳng điều đó ra. Về nguyên tắc, sự rõ ràng này có thể giúp các hệ thống AI truy xuất và trích dẫn nội dung của bạn chính xác hơn. Đây vẫn là một đề xuất, chưa phải chuẩn đã được chấp nhận, và chưa có nhà cung cấp AI nào cam kết sử dụng nó.

Vấn đề mà llms.txt giải quyết

Các hệ thống AI gặp một vấn đề thực tế. Một mô hình ngôn ngữ chỉ đọc được một lượng văn bản giới hạn cùng lúc, và việc biến cả một trang web, với menu, script và quảng cáo, thành văn bản sạch để sử dụng là rất khó. Khi ChatGPT hay Gemini cần trả lời một câu hỏi về trang web hoặc sản phẩm của bạn, chúng không biết nên ưu tiên đọc gì. Nên đọc trang sản phẩm hay bài blog? Trang tài liệu nào là nguồn tham chiếu? Trang nào mang tính lâu dài, trang nào đã lỗi thời? Nếu không có hướng dẫn, hệ thống AI có thể lãng phí ngữ cảnh giới hạn vào những trang ít giá trị hoặc bỏ sót nội dung quan trọng.

robots.txt giải quyết một vấn đề khác cho công cụ tìm kiếm. Nó cho phép bạn chặn các URL, chỉ cho bot đường dẫn đến sơ đồ trang web và bảo vệ ngân sách thu thập dữ liệu của bạn. Nhưng robots.txt chỉ kiểm soát quyền truy cập, không giải thích nội dung của bạn. Các hệ thống AI có nhu cầu khác. Họ ít quan tâm đến thứ hạng xếp theo vị trí và nhiều hơn đến việc hiểu bạn có thẩm quyền ở lĩnh vực nào.

llms.txt nhằm thu hẹp khoảng cách này. Nó cung cấp cho các mô hình ngôn ngữ một bản tóm tắt ngắn về trang web và danh sách được chọn lọc các trang chính. Thay vì để hệ thống AI tự suy ra rằng trang của bạn nói về “giải pháp thanh toán định kỳ cho SaaS”, bạn có thể nói thẳng điều đó. Mục tiêu là giúp nội dung tốt nhất của bạn dễ được tìm thấy và sử dụng hơn. Hiện chưa có bằng chứng nào cho thấy nó cải thiện việc lập chỉ mục hay khả năng được trích dẫn trong câu trả lời của AI.

Cấu trúc và cú pháp cốt lõi của llms.txt

Định dạng llms.txt là Markdown thuần túy, vừa con người vừa mô hình ngôn ngữ đều đọc được. Tệp nằm ở thư mục gốc của tên miền (www.example.com/llms.txt) và tuân theo một thứ tự cố định: tiêu đề, tóm tắt ngắn, phần chi tiết tùy chọn và các mục liên kết đến trang chính. Đây là một ví dụ cơ bản:

# Công ty SaaS mẫu

> Phần mềm tự động hóa thanh toán cho các công ty SaaS B2B, bao gồm chiến lược định giá, đo lường theo mức sử dụng, xử lý thanh toán và tuân thủ quy định.

Công ty SaaS mẫu giúp các đội tài chính tự động hóa việc lập hóa đơn. Các liên kết dưới đây dẫn đến những trang hữu ích nhất của chúng tôi.

## Tài liệu

- [Bắt đầu](https://www.example.com/docs/getting-started): Thiết lập gói thanh toán đầu tiên của bạn
- [Tham chiếu API](https://www.example.com/docs/api): Các điểm cuối và xác thực

## Hướng dẫn

- [Chiến lược định giá SaaS](https://www.example.com/blog/saas-pricing): Cách chọn và thử nghiệm một mô hình định giá

## Tùy chọn

- [Về chúng tôi](https://www.example.com/about)

Cú pháp được thiết kế cố ý đơn giản để cả người lẫn mô hình ngôn ngữ đều đọc được. Bạn nêu mình là ai, tóm tắt trang web bao quát điều gì và chỉ đến những trang quan trọng nhất. Khác với robots.txt, llms.txt không có chỉ thị cho phép hay chặn: nó là một bản hướng dẫn, không phải quy tắc truy cập, và chưa nhà cung cấp AI lớn nào cam kết tuân theo.

Các thành phần của một tệp llms.txt

Tiêu đề H1 (thành phần bắt buộc duy nhất) là tên của trang web hoặc dự án của bạn. Hãy giữ nó ngắn gọn và mô tả rõ ràng. “Công ty SaaS mẫu” tốt hơn “Chào mừng bạn đến với trang của chúng tôi”.

Đoạn tóm tắt trích dẫn là phần giới thiệu ngắn gọn về nội dung trang web. Hãy nói cụ thể về chuyên môn của bạn. Thay vì “Chúng tôi viết về công nghệ”, hãy viết “Chúng tôi xuất bản hướng dẫn kỹ thuật cho lập trình viên Python, tập trung vào lập trình bất đồng bộ, kiểm thử và triển khai ở môi trường thực tế”. Sự cụ thể này giúp các hệ thống AI hiểu được thẩm quyền của bạn.

Phần chi tiết tùy chọn là các đoạn văn hoặc danh sách, không có tiêu đề, bổ sung bối cảnh mà mô hình cần để đọc phần còn lại của tệp, chẳng hạn trang web dành cho ai hoặc cách hiểu các trang được liên kết.

Các mục H2 nhóm liên kết theo chủ đề, chẳng hạn Tài liệu, Sản phẩm hoặc Hướng dẫn. Mỗi mục là một danh sách Markdown gồm các liên kết đến trang chính. Hãy chọn những trang mà bạn muốn mô hình đọc trước tiên.

Mục liên kết dùng định dạng [Tên trang](URL), có thể kèm dấu hai chấm và mô tả ngắn về trang. Hãy dùng URL chuẩn của từng trang, theo phiên bản bạn ưu tiên (có hoặc không có www).

Mục Tùy chọn là một mục H2 đặc biệt có tiêu đề “Tùy chọn”. Các liên kết nằm dưới mục này có thể được bỏ qua khi cần bối cảnh ngắn hơn, vì vậy đây là nơi đặt các trang phụ.

Những gì không có trong tệp: llms.txt không có trường Allow, Disallow, Crawl-Delay hay ngày tháng. Nó không kiểm soát quyền truy cập hay việc thu thập dữ liệu; những quy tắc đó vẫn nằm trong robots.txt.

Đi xa hơn: phiên bản Markdown của các trang

Ngoài tệp cơ bản, đề xuất này còn gợi ý cung cấp một phiên bản Markdown sạch cho mỗi trang, hữu ích với các mô hình ngôn ngữ, đặt tại cùng URL nhưng thêm .md ở cuối (ví dụ www.example.com/docs/getting-started.md). Khi đó, các liên kết trong llms.txt có thể trỏ trực tiếp đến những phiên bản này:

- [Bắt đầu](https://www.example.com/docs/getting-started.md): Thiết lập gói thanh toán đầu tiên của bạn

Một số trang web cũng xuất bản tệp llms-full.txt, gom toàn bộ nội dung của các trang chính vào một tệp duy nhất, dành cho những công cụ muốn lấy mọi thứ trong một yêu cầu. Đây là quy ước của một số trang tài liệu, không phải phần bắt buộc của đề xuất. Trong cả hai trường hợp, mục tiêu vẫn giống nhau: giảm bớt nhiễu để mô hình đọc.

llms.txt và robots.txt: khác biệt chính

robots.txt chủ yếu mang tính hạn chế. Bạn cho bot biết chúng KHÔNG được truy cập vào đâu. llms.txt chủ yếu mang tính cung cấp thông tin. Bạn cho mô hình ngôn ngữ biết trang web nói về điều gì và những trang nào quan trọng. robots.txt dùng trường User-agent để nhắm đến các bot cụ thể, và các bot lớn đều tuân theo; llms.txt không có trường nào như vậy, và các nhà cung cấp AI lớn chưa xác nhận rằng họ có đọc nó.

robots.txt ảnh hưởng trực tiếp đến khả năng hiển thị trên công cụ tìm kiếm. Nếu bạn chặn bot truy cập một trang, trang đó thường sẽ không được thu thập. llms.txt không ảnh hưởng đến thứ hạng tìm kiếm truyền thống, và tác động của nó đối với khả năng hiển thị trên AI chưa được chứng minh. Nếu bạn sử dụng nó, hãy giữ cả hai tệp trên trang web, mỗi tệp với vai trò riêng.

Trong thực tế, hãy dùng robots.txt để quyết định bot nào, kể cả bot AI như GPTBot hay ClaudeBot, được truy cập phần nào của trang web. Chỉ dùng llms.txt để hướng mô hình đến nội dung tốt nhất của bạn; nó không thể hạn chế bất cứ điều gì. Ví dụ:

robots.txt: chặn /checkout và /admin đối với các bot bạn chọn (ví dụ GPTBot)
llms.txt: chỉ liên kết đến các trang tài liệu, hướng dẫn và sản phẩm mà bạn muốn mô hình đọc

Thực hành tốt nhất khi triển khai

Tạo tệp llms.txt và đặt tại www.example.com/llms.txt. Dùng văn bản UTF-8 thuần túy với định dạng Markdown. Đảm bảo máy chủ trả về tệp với tiêu đề Content-Type là text/plain hoặc text/markdown. Kiểm tra bằng cách mở trực tiếp URL trên trình duyệt; bạn sẽ thấy văn bản thô. Đảm bảo cấu trúc tuân theo đặc tả llms.txt: một tiêu đề H1, một đoạn tóm tắt trích dẫn và các mục H2 chứa liên kết.

Viết mô tả rõ ràng và cụ thể. Đừng chỉ sao chép câu slogan trên trang chủ. Hãy trung thực về những gì trang web bao quát. Nếu bạn đăng nội dung về 15 chủ đề khác nhau, hãy liệt kê chúng. Nếu bạn chỉ tập trung hẹp, hãy nói rõ điều đó. Mô tả trung thực và cụ thể hữu ích hơn nhiều so với mô tả chung chung. Hãy đưa vào các từ khóa mô tả ngành hoặc lĩnh vực của bạn. Nếu bạn là trang thương mại điện tử, hãy nhắc đến “thương mại điện tử, sản phẩm, giá cả”. Nếu bạn là công ty SaaS, hãy nhắc đến “phần mềm, thanh toán, tích hợp”.

Cập nhật tệp mỗi khi bạn thay đổi các trang chính. Định dạng không có trường ngày tháng, vì vậy việc giữ tệp luôn mới là trách nhiệm của bạn. Nếu trọng tâm chủ đề của trang web thay đổi đáng kể, hãy cập nhật phần tóm tắt và các mục. Hãy đặt lịch nhắc hằng quý để xem lại và làm mới llms.txt, nhất là khi bạn tạo chuyên mục nội dung mới hoặc điều chỉnh định vị.

Theo dõi mức độ áp dụng llms.txt. Một số nền tảng tài liệu và công cụ dành cho lập trình viên đã xuất bản tệp llms.txt, nhưng OpenAI, Anthropic và Google DeepMind chưa cam kết đọc tệp này khi thu thập dữ liệu web. Thêm tệp này là một thử nghiệm chi phí thấp, không phải một sự đảm bảo nào.

llms.txt và các vấn đề quyền riêng tư

Một số người tự hỏi liệu llms.txt có thể kiểm soát cách các công ty AI sử dụng nội dung của họ hay không. Không thể. Các công ty AI và những người bảo vệ quyền riêng tư đang tranh luận về đạo đức của việc thu thập dữ liệu web và huấn luyện mô hình. Các tiêu chuẩn tìm kiếm và thu thập dữ liệu đã phát triển suốt hai thập kỷ để cân bằng giữa quyền truy cập và sự tôn trọng đối với người sáng tạo nội dung. llms.txt là một phần của cuộc trao đổi này, nhưng nó được thiết kế để giúp mô hình tìm thấy nội dung của bạn, không phải để hạn chế cách chúng sử dụng nội dung đó.

Nếu bạn muốn ngăn nội dung bị dùng để huấn luyện AI, llms.txt không phải là công cụ phù hợp: nó không có chỉ thị nào cho việc đó. Thay vào đó, hãy dùng các quy tắc robots.txt cho các tác nhân người dùng AI liên quan, ví dụ:

User-agent: GPTBot
Disallow: /

Việc tuân theo robots.txt cũng là tự nguyện, nhưng các nhà cung cấp AI uy tín công bố tên các bot của họ và cam kết tôn trọng quy tắc này. Nếu bạn muốn bảo vệ mạnh hơn, hãy chặn bot trong cấu hình máy chủ hoặc tường lửa. Hiện tại, không tệp nào trong số này là cơ chế pháp lý. Khi quy định phát triển và các tiêu chuẩn ngành trở nên chặt chẽ hơn, các cơ chế vững chắc hơn có thể xuất hiện.

Đo lường tác động của llms.txt

Rất khó đo ROI của llms.txt, vì chưa nhà cung cấp AI nào nói rằng họ sử dụng tệp này. Nhưng bạn có thể theo dõi các chỉ số. Hãy theo dõi lượt nhắc đến và trích dẫn của bạn trên ChatGPT, Gemini, Claude và Perplexity trước và sau khi thêm tệp. Nếu bạn thấy lượt trích dẫn tăng, đó là một mối tương quan, không phải bằng chứng rằng tệp đã gây ra điều đó, vì nhiều yếu tố khác cũng ảnh hưởng đến trích dẫn. Hãy so sánh mức tăng trích dẫn của bạn với các đối thủ chưa triển khai llms.txt.

Dùng công cụ theo dõi lượt nhắc đến AI để định lượng khả năng hiển thị của bạn trên tìm kiếm AI. Theo dõi số lần nội dung của bạn được các trợ lý AI lớn trích dẫn. Điều này giúp bạn tự đánh giá xem việc thêm llms.txt có tạo ra khác biệt cho trang web hay không.

Tương lai của llms.txt

robots.txt chỉ được chính thức hóa thành tiêu chuẩn internet (RFC 9309) vào năm 2022, sau nhiều thập kỷ sử dụng. llms.txt vẫn đang ở giai đoạn đề xuất, và nó có thể đi theo con đường tương tự hoặc không. Các trang web không có tệp này hiện không bị phạt, và chưa nền tảng tìm kiếm AI lớn nào nói rằng họ kiểm tra sự tồn tại của tệp.

Vì việc tạo tệp chỉ mất vài phút và không tốn chi phí, thêm llms.txt là một thử nghiệm có rủi ro thấp và hợp lý, đặc biệt với các trang web có nhiều tài liệu. Chỉ cần giữ kỳ vọng thực tế: đây là một đề xuất, lợi ích chưa được chứng minh, và thời gian của bạn thường được sử dụng tốt hơn cho chất lượng nội dung, cấu trúc và các tín hiệu mà hệ thống AI thực sự dựa vào.

Cách thêm tệp llms.txt trên WordPress, Shopify, Webflow và các CMS khác

Tệp llms.txt phải phản hồi tại thư mục gốc của tên miền, tức yourdomain.com/llms.txt, dưới dạng văn bản thuần túy. Cách đưa tệp lên đó phụ thuộc vào mức độ kiểm soát các tệp gốc mà CMS của bạn cho phép:

• Trang tự lưu trữ và WordPress: tải tệp lên thư mục gốc qua trình quản lý tệp hoặc FTP của nhà cung cấp hosting. Một số plugin SEO của WordPress cũng có thể tự tạo và phục vụ tệp cho bạn.
• Nền tảng lưu trữ chặn tải tệp gốc (nhiều trình tạo trang và nền tảng thương mại điện tử): dùng cài đặt hoặc ứng dụng llms.txt riêng của nền tảng nếu có; nếu không, hãy lưu tệp ở nơi khác và thêm chuyển hướng từ /llms.txt, sau đó kiểm tra xem URL cuối cùng có còn trả về văn bản thuần túy hay không.
• Trang tĩnh và trang headless: đặt llms.txt trong thư mục public để nó đi kèm mỗi lần triển khai, và tạo lại tệp khi các trang chính thay đổi.

Viết nội dung bằng công cụ tạo llms.txt miễn phí, sau đó xác nhận URL, loại nội dung và cấu trúc Markdown bằng công cụ kiểm tra llms.txt. Hướng dẫn cài đặt từng bước của chúng tôi trình bày chi tiết từng trường hợp.

Kết luận

llms.txt là một tệp hướng dẫn được đề xuất, chi phí thấp cho các trang web muốn giúp mô hình ngôn ngữ tìm thấy nội dung tốt nhất của họ. Bằng cách đặt tệp Markdown đơn giản này ở thư mục gốc của tên miền, bạn mô tả trang web bao quát điều gì và liên kết đến các trang chính. Định dạng rất dễ hiểu và việc triển khai chỉ mất vài phút, nhưng chưa nhà cung cấp AI nào cam kết sử dụng nó, nên hãy coi đây là một thử nghiệm chứ không phải yêu cầu bắt buộc. Nếu bạn nghiêm túc muốn được ChatGPT, Claude, Gemini và Perplexity trích dẫn, hãy ưu tiên nội dung rõ ràng, có cấu trúc tốt và các tín hiệu mạnh trên toàn web. Dùng công cụ nghiên cứu và khám phá từ khóa của Sorank để xác định các chủ đề nên nêu bật trong tệp llms.txt của bạn.