Robots.txt: Kiểm soát cách Googlebot thu thập dữ liệu

Robots.txt là một tệp đơn giản nhưng mạnh mẽ, kiểm soát cách công cụ tìm kiếm thu thập dữ liệu website của bạn. Tệp nằm tại `https://example.com/robots.txt` và chứa các quy tắc xác định trang và thư mục nào Google, Bing cùng các bot khác được phép thu thập. Robots.txt giúp bạn quản lý ngân sách thu thập dữ liệu (số trang Google thu thập mỗi ngày), tránh lãng phí lượt thu thập vào các trang không quan trọng và giữ nội dung riêng tư khỏi kết quả tìm kiếm.

Hầu hết website đều có tệp robots.txt, nhưng nhiều tệp được cấu hình sai. Một robots.txt cấu hình sai có thể vô tình chặn các trang quan trọng, làm lãng phí tiềm năng xếp hạng. Một robots.txt được cấu hình tốt giúp việc thu thập hiệu quả hơn và bảo vệ quyền riêng tư của website. Hướng dẫn này bao gồm cú pháp robots.txt, các phương pháp hay nhất và ví dụ thực tế.

Robots.txt là gì và công cụ tìm kiếm sử dụng nó thế nào

Robots.txt là một tệp văn bản tiêu chuẩn, truyền đạt chỉ dẫn thu thập dữ liệu đến các bot của công cụ tìm kiếm. Khi một bot lần đầu truy cập website của bạn, nó yêu cầu `/robots.txt` trước khi thu thập bất kỳ thứ gì khác. Bot đọc các quy tắc và làm theo (với điều kiện bot đó hoạt động đúng chuẩn).

Tài liệu robots.txt của Google là tài liệu tham chiếu chính thức cho tiêu chuẩn này. Định dạng robots.txt ra đời năm 1994 và đã được áp dụng rộng rãi. Mọi công cụ tìm kiếm lớn (Google, Bing, Baidu) đều tôn trọng robots.txt.

Quan trọng: Robots.txt là một hướng dẫn, không phải tường lửa. Các bot hoạt động đúng chuẩn (Google, Bing) tôn trọng quy tắc robots.txt. Các bot độc hại và trình thu thập dữ liệu trái phép sẽ bỏ qua robots.txt. Hãy dùng robots.txt để quản lý việc thu thập của công cụ tìm kiếm, không phải để chặn hacker hay trình thu thập trái phép. Muốn bảo mật, hãy dùng công cụ ở cấp máy chủ.

Cú pháp robots.txt và các quy tắc cơ bản

Robots.txt dùng cú pháp văn bản đơn giản. Mỗi quy tắc có hai phần: User-agent (quy tắc áp dụng cho bot nào) và các đường dẫn Disallow (trang nào cần chặn).

Ví dụ cơ bản:

User-agent: *
Disallow: /admin/
Disallow: /staging/
Sitemap: https://example.com/sitemap.xml

Dòng này yêu cầu mọi bot (`*` nghĩa là tất cả) không thu thập các thư mục `/admin/` và `/staging/`. Dòng Sitemap cho bot biết sơ đồ trang của bạn nằm ở đâu.

User-agent: \* nghĩa là mọi bot. Bạn cũng có thể chỉ định từng bot riêng:

`User-agent: Googlebot` chỉ áp dụng cho bot của Google. `User-agent: Bingbot` chỉ áp dụng cho bot của Bing. Bạn có thể có nhiều phần User-agent với các quy tắc khác nhau.

Disallow: /path/ yêu cầu bot không thu thập đường dẫn đó. Disallow: / chặn toàn bộ website. Disallow: (để trống) cho phép mọi thứ. Bạn có thể liệt kê nhiều quy tắc Disallow cho mỗi User-agent.

Allow: /path/ cho phép thu thập một đường dẫn cụ thể ngay cả khi thư mục cha bị Disallow. Ví dụ: Disallow: /temp/ nhưng Allow: /temp/important/ chỉ cho phép thu thập thư mục con /important/.

Các mẫu robots.txt thường gặp

Mẫu 1: Chặn các trang quản trị

User-agent: *
Disallow: /admin/
Disallow: /user/
Disallow: /account/

Mẫu này chặn việc thu thập các trang quản trị, trang người dùng và trang tài khoản. Các trang này thường không dành cho công cụ tìm kiếm.

Mẫu 2: Chặn môi trường thử nghiệm

User-agent: *
Disallow: /staging/
Disallow: /test/

Ngăn bot thu thập các phiên bản thử nghiệm hoặc staging của website.

Mẫu 3: Chặn các loại tệp cụ thể

User-agent: *
Disallow: /*.pdf
Disallow: /*.zip

Ngăn bot thu thập tệp PDF và ZIP. Mẫu này hữu ích nếu bạn có nhiều tệp PDF không nên được lập chỉ mục.

Mẫu 4: Làm chậm các bot làm quá tải máy chủ

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Crawl-delay: 10

Chặn hoàn toàn bot của Ahrefs (nếu bạn không muốn công cụ SEO thu thập website). Làm chậm bot của Semrush bằng cách thêm độ trễ 10 giây giữa các yêu cầu. Crawl-delay hữu ích với các bot hung hăng làm quá tải máy chủ.

Mẫu 5: Cho phép tất cả (mặc định)

User-agent: *
Disallow:

Đây là mặc định. Disallow để trống nghĩa là cho phép tất cả. Bạn cũng có thể bỏ hẳn robots.txt nếu muốn mọi nội dung đều có thể thu thập.

Robots.txt so với thẻ meta robots noindex

Robots.txt chặn việc thu thập. Thẻ meta robots noindex chặn việc lập chỉ mục. Hai công cụ này phục vụ mục đích khác nhau.

Dùng robots.txt khi: bạn muốn tiết kiệm ngân sách thu thập. Bạn có nội dung trùng lặp không nên bị thu thập. Bạn có các trang quản trị mà bot không nên chạm tới. Bạn muốn làm chậm các bot hung hăng.

Dùng thẻ meta robots noindex khi: bạn muốn trang được thu thập nhưng không được lập chỉ mục (để xem lỗi và vấn đề). Bạn muốn ngăn lập chỉ mục nhưng vẫn cho phép liên kết nội bộ và thu thập. Bạn muốn gỡ trang khỏi tìm kiếm nhưng vẫn giữ trang hoạt động.

Ví dụ: Các trang phân trang như `/products?page=2` có thể bị chặn trong robots.txt để tiết kiệm ngân sách thu thập (vì Google thường gộp các trang phân trang). Nhưng bạn có thể muốn chúng được thu thập để xác định mối quan hệ canonical. Trong trường hợp đó, hãy dùng canonical thay vì robots.txt.

Quản lý ngân sách thu thập dữ liệu bằng robots.txt

Ngân sách thu thập dữ liệu là số URL Google thu thập mỗi ngày trên website của bạn. Các website lớn với hàng triệu trang không thể để mọi trang được thu thập mỗi ngày. Google phân bổ ngân sách thu thập dựa trên thẩm quyền và tần suất thay đổi của website. Ngân sách thu thập có giới hạn. Nếu lãng phí vào các trang không quan trọng, các trang quan trọng sẽ được thu thập ít thường xuyên hơn.

Tối ưu ngân sách thu thập bằng cách chặn các trang không nên được thu thập: nội dung trùng lặp, kết quả tìm kiếm phân trang, trang tài khoản người dùng, trang thử nghiệm. Mỗi trang bạn chặn sẽ giúp Google có thêm ngân sách để thu thập nội dung quan trọng của bạn.

Các nguyên nhân lãng phí ngân sách thu thập thường gặp: phân trang vô hạn (bộ lọc sản phẩm tạo ra vô số URL), nội dung trùng lặp với tham số khác nhau, mã phiên gắn vào mọi URL, các trang lịch hoặc sự kiện tạo ra vô số URL. Hãy dùng robots.txt để chặn các mẫu này.

Google Search Console hiển thị số liệu thu thập dữ liệu của website bạn. Hãy theo dõi số yêu cầu thu thập hằng ngày. Nếu Google liên tục thu thập cùng các trang mà không phát hiện nội dung mới, hãy xem lại robots.txt và chiến lược chặn của bạn.

Sơ đồ trang trong robots.txt

Hãy đưa URL sơ đồ trang của bạn vào robots.txt. Thêm `Sitemap: https://example.com/sitemap.xml` vào cuối tệp robots.txt. Dòng này cho Google biết nơi tìm sơ đồ trang XML của bạn. Bạn có thể liệt kê nhiều sơ đồ trang nếu có nhiều tệp.

Ví dụ:

User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xml

Việc liệt kê sơ đồ trang trong robots.txt là không bắt buộc (bạn có thể gửi sơ đồ trang qua Google Search Console), nhưng đây là một phương pháp hay nhất.

Kiểm tra và xác thực robots.txt

Google Search Console có công cụ kiểm tra robots.txt. Vào Cài đặt > Thu thập dữ liệu > Kiểm tra robots.txt. Nhập một URL và xem robots.txt có chặn nó hay không. Công cụ này rất hữu ích để xác thực quy tắc trước khi triển khai.

Luôn kiểm tra trước khi triển khai thay đổi robots.txt. Chỉ một lỗi nhỏ (như `Disallow: /` chặn toàn bộ website) cũng có thể kéo thứ hạng của bạn xuống. Hãy dùng công cụ kiểm tra để xác minh rằng:

Các trang quan trọng không bị chặn. Các trang quản trị đã bị chặn. Các mẫu nội dung trùng lặp đã bị chặn. Không có đường dẫn quan trọng nào bị Disallow nhầm.

Sau khi triển khai robots.txt, hãy theo dõi báo cáo Thu thập dữ liệu trong Google Search Console để xem các thay đổi. Nếu tốc độ thu thập giảm bất thường, bạn có thể đã chặn nhầm nội dung quan trọng.

Các lỗi robots.txt thường gặp

Lỗi 1: Chặn CSS và JavaScript. Nếu bạn chặn `/css/` hoặc `/js/` trong robots.txt, Google không thể thu thập CSS và JavaScript của bạn. Không có CSS, Google không thể hiển thị trang đúng cách. Đừng chặn CSS hay JavaScript.

Lỗi 2: Chặn nhầm nội dung quan trọng. Luôn kiểm tra trước khi triển khai. Một lỗi gõ như `Disallow: /p` thay vì `Disallow: /staging/` có thể vô tình chặn `/products/`.

Lỗi 3: Dùng robots.txt để bảo mật. Đừng dựa vào robots.txt để bảo vệ dữ liệu nhạy cảm. Các trang nhạy cảm cần yêu cầu xác thực, không chỉ dựa vào robots.txt. Robots.txt là công khai và dễ bị vượt qua.

Lỗi 4: robots.txt không nhất quán giữa các tên miền. Nếu bạn có nhiều tên miền, hãy duy trì chính sách robots.txt nhất quán. Các quy tắc khác nhau một cách vô tình có thể gây ra vấn đề về hiệu quả thu thập.

Lỗi 5: Chặn chính sơ đồ trang. Đừng bao giờ chặn `/sitemap.xml` trong robots.txt. Google cần thu thập sơ đồ trang để phát hiện các trang.

Các tính năng nâng cao của robots.txt

Crawl-delay và Request-rate: Các chỉ thị này làm chậm bot. `Crawl-delay: 10` thêm 10 giây giữa các yêu cầu. `Request-rate: 1/10` cho phép 1 yêu cầu mỗi 10 giây. Hãy dùng chúng với các bot làm quá tải máy chủ. Google khuyến nghị dùng cài đặt trong Search Console thay cho các chỉ thị này.

Chỉ thị Allow: Cho phép thu thập một đường dẫn cụ thể ngay cả khi đường dẫn cha bị Disallow. Hữu ích để tạo ngoại lệ. Ví dụ: `Disallow: /temp/` nhưng `Allow: /temp/keep/` chỉ cho phép thư mục con keep.

Đặc tả robots.txt của Google ghi lại mọi chỉ thị được hỗ trợ. Hầu hết tính năng ít khi cần đến. Với đa số website, chỉ cần dùng User-agent, Disallow và Sitemap cơ bản.

Các chỉ thị robots.txt nâng cao

Quy tắc theo User-agent cho phép đặt các quy tắc thu thập khác nhau cho từng bot. Bạn có thể chỉ định quy tắc riêng cho Googlebot, Bingbot và các user-agent khác. Điều này hữu ích nếu bạn muốn Google thu thập toàn bộ website nhưng hạn chế Bing truy cập một số phần. Chỉ định user-agent ở đầu mỗi khối quy tắc:

`User-agent: Googlebot` chỉ áp dụng quy tắc cho trình thu thập của Google. `User-agent: *` áp dụng quy tắc cho mọi bot. Các quy tắc có hiệu lực cho user-agent cụ thể cho đến khi gặp chỉ thị User-agent tiếp theo. Bạn có thể tạo nhiều khối quy tắc cho các bot khác nhau.

Các chỉ thị Crawl-delay và request-rate cho bot biết tần suất thu thập. `Crawl-delay: 5` yêu cầu bot chờ 5 giây giữa các yêu cầu. Điều này giảm tải cho máy chủ. `Request-rate: 1/10` yêu cầu bot gửi tối đa 1 yêu cầu mỗi 10 giây. Tài liệu robots.txt của Google mô tả chi tiết mọi chỉ thị được hỗ trợ.

Chỉ thị vị trí sơ đồ trang cho bot biết nơi tìm sơ đồ trang của bạn. `Sitemap: https://example.com/sitemap.xml` chỉ cho bot đến sơ đồ trang XML của bạn. Bạn có thể khai báo nhiều sơ đồ trang. Điều này được khuyến nghị vì nó giúp bot phát hiện mọi trang của bạn một cách hiệu quả.

Chỉ thị Clean-param loại bỏ tham số URL trước khi thu thập. `Clean-param: utm_source&utm_medium https://example.com` yêu cầu Google bỏ qua tham số UTM trên example.com. Điều này ngăn Google coi các liên kết có theo dõi là nội dung trùng lặp. Hiện nay chỉ thị này ít được dùng hơn vì Google tự xử lý hầu hết các tham số theo dõi.

Hãy kiểm tra tệp robots.txt trong công cụ kiểm tra robots.txt của Google Search Console. Công cụ này cho biết những URL nào sẽ bị robots.txt chặn đối với Googlebot. Việc này giúp tránh chặn nhầm các trang quan trọng.

Kết luận

Robots.txt là tệp đơn giản nhưng quan trọng để quản lý việc thu thập của công cụ tìm kiếm và bảo vệ quyền riêng tư của website. Một robots.txt được cấu hình tốt sẽ chặn các trang không quan trọng, tiết kiệm ngân sách thu thập và ngăn nội dung trùng lặp bị thu thập nhiều lần. Một robots.txt cấu hình sai có thể vô tình chặn nội dung quan trọng và kéo thứ hạng của bạn xuống.

Luôn kiểm tra thay đổi robots.txt trước khi triển khai. Dùng công cụ kiểm tra của Google Search Console để xác thực quy tắc. Theo dõi số liệu thu thập mỗi tháng. Chặn nội dung không quan trọng và quản lý ngân sách thu thập hiệu quả. Dùng công cụ kiểm tra GEO SEO của chúng tôi để rà soát cấu hình robots.txt và phát hiện các vấn đề tiềm ẩn về khả năng thu thập và lập chỉ mục trên toàn bộ website.