Công cụ tạo robots.txt miễn phí cho mọi website

Một công cụ tạo robots.txt giúp bạn tránh những lỗi cú pháp nhỏ vô tình chặn cả một website. Tệp này tuân theo Giao thức Loại trừ Robot (Robots Exclusion Protocol), do Martijn Koster tạo ra năm 1994 và được IETF công bố thành chuẩn internet vào tháng 9 năm 2022 (RFC 9309, Robots Exclusion Protocol). Mọi trình thu thập dữ liệu nghiêm túc đều đọc nó đầu tiên, từ Googlebot đến các bot của ChatGPT, Claude và Perplexity.

Công cụ tạo robots.txt làm được gì?

Công cụ xây dựng một tệp robots.txt hợp lệ ngay khi bạn gõ, với bản xem trước trực tiếp ở bên phải, nút Sao chép và nút Tải về để lưu tệp có tên robots.txt. Không có gì được gửi đến máy chủ: tệp được ghép lại trên trình duyệt của bạn.

Ở chế độ tùy chỉnh, mọi user-agent bạn liệt kê đều dùng chung một bộ quy tắc, đó là cách chuẩn định nghĩa một nhóm. Để áp dụng quy tắc khác nhau cho các bot khác nhau, hãy tạo từng nhóm một và dán chúng nối tiếp nhau trong cùng một tệp.

Bạn tạo tệp robots.txt từng bước như thế nào?

1. Chọn chế độ. Bắt đầu bằng “Cho phép tất cả” trừ khi bạn có lý do để chặn điều gì đó.
2. Liệt kê các user-agent ở chế độ tùy chỉnh, mỗi dòng một cái: * cho mọi trình thu thập, hoặc tên như Googlebot, Bingbot hay GPTBot.
3. Thêm các đường dẫn cần chặn (Disallow) và các ngoại lệ cần giữ mở (Allow), mỗi dòng một đường dẫn, bắt đầu bằng dấu gạch chéo.
4. Dán URL sitemap đầy đủ, với https và tên miền.
5. Sao chép hoặc tải tệp về rồi tải lên thư mục gốc của máy chủ, để tệp phản hồi tại https://example.com/robots.txt.
6. Kiểm tra trên môi trường thật bằng công cụ kiểm tra robots.txt miễn phí, công cụ này đọc tệp đang hoạt động và cho biết trạng thái của từng trình thu thập AI.

Vị trí đặt tệp rất nghiêm ngặt. Google chỉ đọc robots.txt ở thư mục gốc của một máy chủ, mỗi website chỉ có thể có một tệp, và tệp chỉ áp dụng cho giao thức, máy chủ và cổng nơi nó được đăng: một tên miền phụ cần tệp riêng (Google, tạo và gửi tệp robots.txt).

Google tuân theo những quy tắc robots.txt nào?

Google hỗ trợ bốn trường: user-agent, allow, disallow và sitemap. Các trường khác như crawl-delay không được hỗ trợ (Google, cách Google diễn giải đặc tả robots.txt). Cùng trang đó đặt ra các quy tắc dưới đây.

Dưới đây là một tệp điển hình cho cửa hàng trực tuyến. Tệp chặn giỏ hàng, thanh toán và tìm kiếm nội bộ, giữ mở một thư mục công khai và khai báo sitemap.

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /search
Allow: /checkout/help/

Sitemap: https://example.com/sitemap.xml

Disallow có gỡ một trang khỏi Google không?

Không. Robots.txt không phải cơ chế để giữ một trang web khỏi Google. Một URL bị chặn vẫn có thể được lập chỉ mục nếu các website khác liên kết đến nó, và khi đó nó xuất hiện mà không có mô tả (Google, giới thiệu về robots.txt). Để ẩn một trang, hãy để Google thu thập nó và thêm thẻ meta noindex hoặc tiêu đề HTTP. Nếu đồng thời chặn trang đó trong robots.txt, Google sẽ không bao giờ thấy được chỉ thị noindex.

Kiểm tra kết quả từng trang bằng công cụ kiểm tra khả năng lập chỉ mục, công cụ này đọc đồng thời robots.txt, meta robots, X-Robots-Tag và canonical. Về từ vựng, xem các mục từ điển của chúng tôi về robots.txt và thu thập và lập chỉ mục.

Có nên chặn các trình thu thập AI trong robots.txt không?

Hãy chặn các bot dùng để huấn luyện mô hình nếu bạn muốn, nhưng giữ mở các bot đứng sau tìm kiếm AI. Các nhà cung cấp lớn hiện đã tách hai loại này, nên bạn không còn phải chọn giữa việc bảo vệ nội dung và việc được trích dẫn.

Nguồn: Tổng quan về trình thu thập của OpenAI, chính sách thu thập của Anthropic, trình thu thập của Perplexity và các trình thu thập phổ biến của Google. Để từ chối huấn luyện nhưng vẫn được ChatGPT trích dẫn, chỉ cần một tệp chứa hai dòng sau, vì mọi bot khác vẫn được cho phép theo mặc định:

User-agent: GPTBot
Disallow: /

Xu hướng này có thật: chỉ trong một năm (2023 đến 2024), 28% trở lên các nguồn được duy trì tích cực nhất của tập dữ liệu huấn luyện C4 đã bị giới hạn hoàn toàn đối với trình thu thập AI (Longpre và cộng sự, Consent in Crisis, 2024). Trước khi làm theo, hãy kiểm tra việc chặn sẽ khiến bạn mất gì trong câu trả lời AI: Theo dõi lượt nhắc đến AI của Sorank cho thấy mỗi tháng ChatGPT, Claude và Gemini có nhắc đến thương hiệu của bạn hay không.

Những lỗi robots.txt nào gây hại SEO nhiều nhất?

• Để lại Disallow: / sau khi ra mắt. Các tệp dựng thử thường lọt lên môi trường thật. Chỉ một dòng là đủ chặn mọi trình thu thập khỏi toàn bộ website.
• Chặn CSS và JavaScript. Nếu thiếu các tài nguyên này khiến trang khó hiểu hơn, Google khuyên không nên chặn chúng.
• Quên dấu gạch chéo cuối. Disallow: /admin cũng chặn /administration và /admin-guide. Hãy viết /admin/ để chỉ chặn đúng thư mục.
• Dựa vào Crawl-delay với Google. Google bỏ qua nó. Anthropic nói họ hỗ trợ phần mở rộng này, vì vậy chỉ giữ nó cho các bot đọc được.
• Dùng robots.txt như công cụ bảo mật. Tệp này công khai và ai cũng đọc được. Hãy bảo vệ khu vực riêng tư bằng đăng nhập, không phải bằng một dòng Disallow trỏ thẳng tới chúng.
• Quên ngoại lệ của WordPress. Tệp mặc định của WordPress chặn /wp-admin/ nhưng cho phép /wp-admin/admin-ajax.php, thứ mà các tính năng phía người dùng cần (Tài liệu tham khảo cho nhà phát triển WordPress).

Làm sao để kiểm tra robots.txt sau khi đăng?

Hãy dùng ba cách kiểm tra, từ nhanh nhất đến đầy đủ nhất.

1. Mở URL https://yourdomain.com/robots.txt trên trình duyệt. Bạn sẽ thấy văn bản thuần, không phải trang HTML hay lỗi 404.
2. Chạy công cụ kiểm tra robots.txt để liệt kê các nhóm quy tắc, sitemap, các vấn đề và trạng thái của 14 user-agent AI.
3. Mở báo cáo robots.txt trong Search Console. Báo cáo cho thấy các tệp Google tìm thấy trên 20 máy chủ hàng đầu của website, lần thu thập gần nhất, các cảnh báo, và cho phép bạn yêu cầu thu thập lại sau khi sửa lỗi khẩn cấp (Trợ giúp Search Console, báo cáo robots.txt).

Sau đó hoàn tất thiết lập: tạo một sitemap gọn gàng bằng trình tạo sitemap XML và một tệp llms.txt bằng trình tạo llms.txt, tệp này cung cấp cho trợ lý AI một bản tóm tắt các trang chính của bạn.

Robots.txt được tạo ra có những giới hạn nào?

Công cụ viết đúng cú pháp, nhưng nó không thể biết về website của bạn. Nó không kiểm tra xem đường dẫn bị chặn có chứa các trang bạn muốn xếp hạng hay không, và nó viết từng nhóm một. Các bot xấu hoàn toàn bỏ qua tệp: robots.txt là một yêu cầu, không phải bức tường, nên hãy chặn lưu lượng lạm dụng ở tầng máy chủ hoặc tường lửa. Cuối cùng, giao thức chỉ bao quát việc thu thập dữ liệu. Một trang được tải về theo yêu cầu của người dùng, chẳng hạn ChatGPT-User hay Perplexity-User, có thể không tuân theo quy tắc robots.txt, như cả hai nhà cung cấp đã nêu trong tài liệu của họ.

Làm sao để website của bạn dễ thu thập và dễ được trích dẫn?

Một robots.txt gọn gàng là bước đầu tiên. Các bước tiếp theo là đăng những trang đáng được thu thập và kiểm tra xem trình thu thập có thực sự quay lại hay không.

• Theo dõi lần thu thập và lượng truy cập trong Bảng điều khiển GEO và SEO, nơi gom Search Console, Analytics và lượt truy cập từ ChatGPT và Perplexity lại với nhau.
• Xem các website nào trợ lý AI trích dẫn trong thị trường của bạn bằng bảng xếp hạng GEO, và bạn đứng ở vị trí nào trong số đó.
• Đăng bài đều đặn với trình tạo bài viết blog, để trình thu thập luôn tìm thấy điều gì đó mới.

Một tệp robots.txt chỉ mất hai phút nhưng bảo vệ cùng lúc ngân sách thu thập và độ hiển thị AI của bạn. Tạo tệp của bạn ở trên, kiểm tra bằng công cụ kiểm tra, rồi xem các gói của Sorank để giữ website luôn dễ thu thập và được trích dẫn, trên autopilot.