Bị chặn bởi robots.txt: trạng thái này trong Search Console nghĩa là gì và cách khắc phục

Trạng thái blocked by robots.txt xuất hiện trong báo cáo Lập chỉ mục trang của Google Search Console, nằm trong danh sách các lý do khiến trang không được lập chỉ mục. Tài liệu về báo cáo Lập chỉ mục trang của chính Google mô tả nó trong một dòng: trang đã bị chặn bởi tệp robots.txt của website. Đằng sau dòng đó là hai tình huống rất khác nhau, một lần chặn có chủ đích và một lần chặn do nhầm lẫn, cùng với một trạng thái dễ gây nhầm lẫn là “Indexed, though blocked by robots.txt”. Hướng dẫn này chỉ cách phân biệt chúng và sửa từng trường hợp mà không làm hỏng thứ khác. Nếu bạn chưa quen với chính tệp này, hãy bắt đầu với định nghĩa của chúng tôi về robots.txt.

“Blocked by robots.txt” trong Search Console nghĩa là gì?

Tệp robots.txt nằm ở thư mục gốc của máy chủ (example.com/robots.txt) và cho các trình thu thập biết những đường dẫn nào được phép tải. Khi Googlebot tìm thấy một URL, qua một liên kết hoặc một sơ đồ trang, nó kiểm tra tệp đó trước. Nếu một quy tắc Disallow khớp với đường dẫn cho user agent của nó, Googlebot sẽ không tải trang. Search Console khi đó liệt kê URL dưới mục “Blocked by robots.txt”.

Hệ quả là hai điều. Google không thể thấy nội dung, tiêu đề, liên kết nội bộ hay bất kỳ thẻ meta nào trên trang. Và vì không bao giờ đọc trang, Google cũng không thể thấy thẻ noindex. Trạng thái này được liệt kê như một lý do không lập chỉ mục, nên với hầu hết website nó mang tính thông tin: chính Google ghi chú rằng các URL bị chặn bởi robots.txt có khả năng đã bị chặn có chủ đích.

Vấn đề bắt đầu khi trong danh sách có những trang bạn muốn xuất hiện trên Google: trang sản phẩm, bài viết, trang danh mục, hoặc cả website sau một đợt di chuyển. Khi đó, việc chặn là nguyên nhân trực tiếp khiến website không xuất hiện trên Google, và đây là một trong những vấn đề kỹ thuật nhanh nhất để sửa.

“Blocked by robots.txt” khác gì “Indexed, though blocked by robots.txt”?

Trạng thái thứ hai trông có vẻ mâu thuẫn, và đây là trạng thái khiến chủ website lo lắng nhất. Phần giới thiệu về robots.txt của Google giải thích: robots.txt không phải là cơ chế để giữ một trang khỏi Google. Nếu các trang khác liên kết tới một URL bị chặn, Google vẫn có thể lập chỉ mục chính URL đó mà không cần thu thập nó. Kết quả khi đó hiển thị địa chỉ mà không có mô tả, vì Google chưa bao giờ đọc nội dung.

Điều quan trọng là phải quyết định trước bạn muốn gì với từng URL: được lập chỉ mục hay không được lập chỉ mục. Robots.txt trả lời một câu hỏi khác (được thu thập hay không được thu thập), và việc trộn lẫn hai điều này là nguyên nhân của phần lớn lỗi.

Vì sao trang của bạn bị chặn bởi robots.txt?

Phần lớn các lần chặn do nhầm lẫn đến từ một số ít nguyên nhân. Hãy kiểm tra theo thứ tự này:

• Quy tắc của môi trường thử nghiệm bị đưa lên máy chủ thật. Disallow: / bảo vệ một trang thử nghiệm, rồi được đưa lên cùng đợt ra mắt và chặn mọi thứ.
• Một cài đặt của CMS. WordPress có tùy chọn “Discourage search engines from indexing this site”; các nền tảng khác có công tắc tương tự, sửa robots.txt hoặc thêm header.
• Một quy tắc rộng hơn mức cần thiết. Disallow: /p chặn cả /products/ và /pricing/ cùng với /p/. Quy tắc robots.txt khớp với phần đầu của đường dẫn.
• Ký tự đại diện. * khớp với bất kỳ chuỗi ký tự nào và $ đánh dấu cuối của URL. Disallow: /*? chặn mọi URL có tham số, có thể bao gồm các trang phân trang hoặc trang lọc mà bạn muốn lập chỉ mục.
• Tài nguyên bị chặn. Chặn /assets/ hoặc /wp-includes/ sẽ che CSS và JavaScript mà Google cần để hiển thị trang, làm giảm khả năng Google hiểu nội dung của bạn.
• Di chuyển website. Đường dẫn thay đổi, tệp robots.txt cũ vẫn còn, hoặc máy chủ mới dùng tệp mặc định của riêng nó.
• Sai máy chủ. Mỗi subdomain và giao thức có tệp riêng: quy tắc trên www.example.com không áp dụng cho shop.example.com.

Hãy nhớ rằng Google theo quy tắc cụ thể nhất (đường dẫn khớp dài nhất), và khi một Allow và một Disallow cụ thể ngang nhau, quy tắc ít hạn chế hơn sẽ thắng. Vì vậy một quy tắc Allow: /blog/ có mục tiêu rõ ràng có thể mở lại một thư mục nằm dưới một lệnh chặn rộng hơn.

Cách khắc phục “Blocked by robots.txt” từng bước

1. Xuất danh sách các URL bị ảnh hưởng

Trong Google Search Console, mở Lập chỉ mục, rồi Trang, và nhấp vào dòng “Blocked by robots.txt”. Xuất danh sách và sắp xếp theo thư mục. Thường bạn sẽ thấy một mẫu chung trong vòng một phút: một thư mục, một tham số, một subdomain.

2. Tách các lần chặn có chủ đích khỏi các lỗi

Đánh dấu từng mẫu là “giữ chặn” hoặc “nên có trên Google”. Giỏ hàng, thanh toán, trang tài khoản, kết quả tìm kiếm nội bộ và khu vực quản trị thuộc nhóm đầu. Bất cứ thứ gì trả lời một truy vấn tìm kiếm, nhận liên kết hoặc xuất hiện trong sơ đồ trang XML của bạn thuộc nhóm thứ hai. Một URL vừa có trong sơ đồ trang vừa bị chặn là một mâu thuẫn cần giải quyết.

3. Tìm quy tắc khớp

Mở công cụ URL Inspection trên một URL ví dụ: công cụ cho biết việc thu thập có được phép hay không. Sau đó đọc tệp đang hoạt động, hoặc dán URL vào công cụ kiểm tra robots.txt miễn phí của chúng tôi để xem dòng nào chặn nó và cho user agent nào.

4. Sửa tệp

Xóa hoặc thu hẹp quy tắc, hoặc thêm một Allow cụ thể hơn. Giữ thay đổi ở mức tối thiểu và kiểm tra nó với cả một URL cần bỏ chặn và một URL phải tiếp tục bị chặn. Nếu tệp đã rối, hãy tạo lại một tệp sạch bằng công cụ tạo robots.txt của chúng tôi và so sánh trước khi đưa lên.

5. Để Google đọc tệp mới

Theo đặc tả robots.txt của Google, Google thường lưu đệm robots.txt tối đa 24 giờ. Để nhanh hơn, hãy mở Cài đặt, rồi báo cáo robots.txt trong Search Console (dành cho thuộc tính cấp tên miền), và dùng “Yêu cầu thu thập lại” cho tệp. Sau đó yêu cầu lập chỉ mục cho các URL quan trọng nhất vừa được bỏ chặn trong URL Inspection.

6. Xác thực và theo dõi

Nhấp “Xác thực bản sửa” trên trang của vấn đề. Việc xác thực có thể mất vài ngày đến vài tuần, và các URL mới được kiểm tra khi Google thu thập lại chúng. Hướng dẫn về lập chỉ mục trên Google của chúng tôi bao gồm những gì xảy ra sau khi thu thập, khi Google quyết định một trang có đáng giữ lại hay không.

Cách khắc phục “Indexed, though blocked by robots.txt”

Cách sửa phụ thuộc vào điều bạn muốn với trang:

1. Bạn muốn trang có trên Google. Bỏ chặn. Google sẽ thu thập trang, đọc nội dung và hiển thị một kết quả bình thường với tiêu đề và mô tả.
2. Bạn không muốn trang có trên Google. Vẫn bỏ chặn, rồi thêm <meta name="robots" content="noindex"> trong phần head, hoặc header HTTP X-Robots-Tag: noindex cho các tệp PDF và tệp khác. Khi Google đã thu thập lại trang và loại bỏ nó, bạn có thể chặn lại nếu lượng thu thập quan trọng, dù hầu hết website không bao giờ cần. Định nghĩa về noindex của chúng tôi giải thích các lựa chọn.
3. Trang không nên tồn tại công khai. Bảo vệ bằng mật khẩu hoặc xóa trang (404 hoặc 410). Cả robots.txt lẫn noindex đều không phải là biện pháp bảo mật.

Với điều hướng theo bộ lọc có hàng nghìn URL lọc, việc chặn bằng robots.txt có thể vẫn là công cụ đúng để tiết kiệm ngân sách thu thập. Khi đó, cảnh báo “Indexed, though blocked” trên một vài URL như vậy là chấp nhận được, miễn là các phiên bản chuẩn của danh mục của bạn có thể thu thập và được lập chỉ mục.

Cách kiểm tra bản sửa đã hiệu quả

Ba tín hiệu xác nhận một bản sửa thành công. URL Inspection trên URL thật hiển thị “Cho phép thu thập: Có”. Số lượng trang bị chặn trong báo cáo Lập chỉ mục trang giảm dần trong các tuần sau đó. Và các trang được bỏ chặn bắt đầu có lượt hiển thị trong báo cáo Hiệu suất. Một lượt kiểm tra nhanh bằng công cụ kiểm tra khả năng lập chỉ mục của chúng tôi cũng phát hiện các lỗi chặn khác thường đi kèm với sai sót robots.txt: một noindex lạc chỗ, một canonical sai hoặc một chuyển hướng.

Việc theo dõi rất quan trọng vì các lỗi này có thể quay lại. Một bản cập nhật giao diện, một plugin hoặc một script triển khai có thể ghi đè robots.txt mà không ai nhận ra. Theo dõi các trang có lượt nhấp và lượt hiển thị giảm đột ngột là cảnh báo sớm nhanh nhất.

Bảng điều khiển GEO và SEO của Sorank kết nối với Search Console và hiển thị các trang tăng và giảm trong cùng một màn hình, nên một lần chặn do đợt triển khai gây ra sẽ hiện ra như một cụm URL cùng giảm, thay vì một sự sụt giảm chậm và không rõ nguyên nhân.

Robots.txt, bot AI và GEO

Robots.txt giờ có thêm một nhóm đối tượng thứ hai: các trình thu thập của trợ lý AI. OpenAI, Anthropic, Perplexity và Google đều công bố các user agent (GPTBot và OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended) tuân thủ robots.txt. Một quy tắc nhắm vào một trong số đó, hoặc một lệnh chặn chung User-agent: *, quyết định việc ChatGPT, Claude hay Perplexity có đọc được trang của bạn khi họ tìm kiếm trên web để xây dựng câu trả lời hay không.

Lý luận giống như với Google: hãy quyết định cho từng bot điều bạn muốn. Chặn các trình thu thập dùng để huấn luyện trong khi vẫn cho phép các trình thu thập tìm kiếm là một thỏa hiệp phổ biến, và hướng dẫn về robots.txt cho các trình thu thập AI của chúng tôi liệt kê các user agent và quy tắc cho từng loại. Mục thuật ngữ về trình thu thập AI giải thích từng bot làm gì.

Để thấy tác động của những lựa chọn này, hãy theo dõi các câu hỏi quan trọng với hoạt động kinh doanh của bạn. Theo dõi đề cập AI trong Sorank cho biết ChatGPT, Gemini hay Claude có trích dẫn website của bạn không, và họ trích dẫn đối thủ nào thay thế.

Quy tắc cần nhớ

Robots.txt quyết định các trình thu thập được phép đọc gì; noindex quyết định kết quả tìm kiếm được phép hiển thị gì. Giữ việc chặn cho những khu vực không có giá trị tìm kiếm, không bao giờ chặn một trang bạn muốn lập chỉ mục hoặc loại khỏi chỉ mục, và kiểm tra báo cáo Lập chỉ mục trang sau mỗi lần di chuyển hoặc triển khai. Hầu hết các vấn đề “blocked by robots.txt” được sửa trong vài phút khi tìm ra quy tắc khớp, và bảng điều khiển Search Console của Sorank giúp bạn bắt được lỗi tiếp theo trước khi nó làm mất lưu lượng.