Bị loại do thẻ 'noindex': Có bình thường không, và cách khắc phục thế nào?

Bị loại do thẻ 'noindex' là trạng thái lập chỉ mục duy nhất mà chính bạn tạo ra, có chủ đích hoặc do vô ý. Tài liệu về Báo cáo lập chỉ mục trang của Google mô tả lý do này bằng ba câu: “Khi Google cố lập chỉ mục trang, Google gặp chỉ thị 'noindex' nên đã không lập chỉ mục trang. Nếu bạn không muốn trang này được lập chỉ mục, xin chúc mừng! Nếu bạn muốn trang này được lập chỉ mục, bạn nên xóa chỉ thị 'noindex'.” Hướng dẫn này giúp bạn xác định mỗi URL thuộc vế nào của câu đó, tìm đúng nguồn của quy tắc không mong muốn và sửa lỗi mà không làm hỏng phần khác.

“Bị loại do thẻ 'noindex'” nghĩa là gì?

Một quy tắc noindex yêu cầu công cụ tìm kiếm không hiển thị trang trong kết quả của họ. Google đọc quy tắc này ở hai nơi, như hướng dẫn của Google về chặn lập chỉ mục bằng noindex giải thích:

• Thẻ meta robots trong phần <head> của HTML: <meta name="robots" content="noindex"> áp dụng cho mọi công cụ tìm kiếm, hoặc name="googlebot" chỉ áp dụng cho Google.
• Tiêu đề HTTP X-Robots-Tag do máy chủ gửi kèm phản hồi, với giá trị noindex hoặc none. Đây là cách duy nhất cho các tệp không phải HTML, chẳng hạn PDF.

Khi Googlebot gặp một trong hai, URL sẽ bị giữ ngoài chỉ mục. Trạng thái này hiển thị trong Google Search Console ở mục Lập chỉ mục, rồi Trang, trong bảng “Lý do trang không được lập chỉ mục”. Trang trợ giúp ghi cùng lý do là “URL bị đánh dấu 'noindex'”. Hai nhãn này mô tả cùng một tình huống.

Ba điều sau giúp bạn đọc đúng báo cáo:

• Google đã tuân theo bạn. Khác với “Đã thu thập dữ liệu - hiện chưa được lập chỉ mục”, trường hợp Google tự quyết định không lập chỉ mục trang, trạng thái này phản ánh một chỉ dẫn mà website đã gửi.
• Quy tắc cần một lần thu thập dữ liệu. Google chỉ thấy quy tắc noindex trên trang mà Google được phép tải về. Trang bị robots.txt chặn sẽ không bao giờ đạt trạng thái này.
• Quy tắc có thể đến từ bất kỳ đâu trong chuỗi. HTML, CMS, plugin, giao diện, cấu hình máy chủ và CDN đều có thể thêm nó, và mã nguồn trang không hiển thị tiêu đề HTTP.

Bình thường hay là lỗi?

Hầu hết website đều có URL ở trạng thái này, và nhiều URL trong số đó thuộc về đúng chỗ của chúng. Báo cáo của Google nêu rằng các trang liệt kê là chưa được lập chỉ mục “không nhất thiết do lỗi”. Hãy phân loại danh sách theo loại URL trước khi sửa bất cứ thứ gì.

Dòng cuối quan trọng hơn vẻ ngoài của nó. Sitemap nói với Google “hãy lập chỉ mục các trang này”, còn noindex nói điều ngược lại. Hãy giữ sitemap chỉ gồm các URL có thể lập chỉ mục và là URL chuẩn (canonical). Hướng dẫn của chúng tôi về cách gửi sitemap cho Google có hướng dẫn cách dọn dẹp sitemap.

Noindex không mong muốn đến từ đâu?

Khi một trang quan trọng mang noindex, nguyên nhân hầu như luôn nằm trong các nguồn dưới đây. Hãy kiểm tra theo thứ tự này, từ nguồn phổ biến nhất đến hiếm nhất.

Trường hợp WordPress đủ phổ biến để nêu tên. Theo tài liệu WordPress về màn hình Đọc, khi tick “Khuyến nghị công cụ tìm kiếm không lập chỉ mục trang web này”, WordPress thêm noindex,nofollow vào phần đầu của mọi trang (từ phiên bản 5.3). Chỉ một ô tick bị bỏ quên sau khi ra mắt là đủ để xóa cả website khỏi Google. Thời điểm ra mắt và làm lại giao diện là lúc rủi ro cao nhất, nên danh sách kiểm tra khi di chuyển SEO luôn có bước kiểm tra quy tắc robots. Về các cài đặt riêng của WordPress, xem trang SEO và GEO cho WordPress.

Chẩn đoán trạng thái này từng bước ra sao?

1. Mở báo cáo. Trong Search Console, vào Lập chỉ mục, rồi Trang, nhấp vào “Bị loại do thẻ 'noindex'” và xuất danh sách.
2. Phân loại URL theo bảng trên. Tách riêng những URL nên nằm ngoài chỉ mục.
3. Kiểm tra một URL quan trọng. Dán URL vào công cụ Kiểm tra URL. Dòng “Cho phép lập chỉ mục?” cho bạn biết Google có thấy noindex hay không, và noindex đến từ thẻ meta robots hay tiêu đề X-Robots-Tag.
4. Kiểm tra URL trực tiếp. Nhấp “Kiểm tra URL trực tiếp”: nếu phiên bản trực tiếp không còn noindex, quy tắc đã được gỡ và Google chỉ cần thu thập lại.
5. Tự kiểm tra cả hai nơi. Tìm noindex trong mã nguồn trang, rồi trong tiêu đề phản hồi (công cụ phát triển của trình duyệt, tab Network). Công cụ kiểm tra tiêu đề HTTP miễn phí cho bạn thấy X-Robots-Tag mà không cần mở công cụ phát triển nào, còn công cụ kiểm tra khả năng lập chỉ mục kiểm tra thẻ meta, tiêu đề và robots.txt chỉ trong một lần.
6. Truy nguồn theo bảng nguồn, bắt đầu từ cài đặt CMS và plugin SEO.

Bạn sửa lỗi này thế nào?

Cách sửa phụ thuộc vào nguồn. Hãy thay đổi cài đặt ở nơi quy tắc được tạo ra, đừng chỉ sửa phần hiển thị bên ngoài, nếu không quy tắc sẽ quay lại ở lần cập nhật tiếp theo.

Sau khi sửa, hãy yêu cầu lập chỉ mục cho các URL quan trọng nhất trong công cụ Kiểm tra URL, và gửi lại sitemap nếu nhiều trang bị ảnh hưởng. Với một nhóm URL đã sửa, nhấp “Xác thực bản sửa lỗi” trong báo cáo. Google cho biết việc xác thực “thường mất tối đa khoảng hai tuần, nhưng trong một số trường hợp có thể lâu hơn nhiều”. Hãy xóa bộ nhớ đệm của trang hoặc CDN trước, nếu không Google có thể tải phiên bản cũ kèm quy tắc cũ. Nếu sau vài tuần trang vẫn chưa xuất hiện, hướng dẫn của chúng tôi về đưa trang vào chỉ mục của Google liệt kê các đòn bẩy tiếp theo. Nếu trang chuyển sang Đã thu thập dữ liệu - hiện chưa được lập chỉ mục, vấn đề lúc này nằm ở nội dung chứ không còn ở quy tắc.

Noindex, robots.txt hay canonical: nên dùng cái nào?

Ba công cụ này thường bị nhầm lẫn, và kết hợp sai chúng tạo ra những báo cáo khó hiểu nhất.

Google nêu rõ: nếu robots.txt chặn một trang, “trình thu thập sẽ không bao giờ thấy quy tắc noindex”. Nếu bạn muốn một trang nằm ngoài chỉ mục, hãy để nó có thể thu thập dữ liệu cùng với noindex cho đến khi nó biến mất, rồi mới quyết định có chặn hay không. Kiểm tra tệp của bạn bằng công cụ kiểm tra robots.txt, và đọc đặc tả thẻ meta robots để xem đầy đủ các quy tắc. Đặc tả cũng ghi rằng khi các quy tắc mâu thuẫn, “quy tắc hạn chế hơn sẽ được áp dụng”.

Vì sao điều này quan trọng với SEO và khả năng hiển thị trên AI?

Một trang bị noindex không nhận được lượt nhấp tự nhiên nào từ Google, bất kể chất lượng của nó ra sao. Trên một website lớn, một quy tắc không mong muốn trên một mẫu có thể gỡ hàng trăm trang sản phẩm hoặc bài viết cùng lúc, và dấu hiệu đầu tiên thường là lưu lượng truy cập sụt giảm vài tuần sau đó. Nếu website của bạn dường như đã biến mất hoàn toàn, hãy bắt đầu với danh sách kiểm tra của chúng tôi về website không hiển thị trên Google.

Các trợ lý AI tạo thêm một chi phí khác. ChatGPT, Perplexity và Gemini thường trả lời bằng cách truy xuất trang từ chỉ mục tìm kiếm trên web rồi trích dẫn chúng, nên một trang thiếu trong chỉ mục gần như không có cơ hội được trích dẫn. Nghiên cứu của chúng tôi về các nền tảng mà AI trích dẫn nhiều nhất cho thấy các nguồn mà họ ưa chuộng.

Sorank là sản phẩm của chúng tôi: phần mềm SEO và GEO tự động (autopilot). Bảng điều khiển GEO và SEO hiển thị lượt nhấp, lượt hiển thị và vị trí từ Search Console, nên sự sụt giảm đột ngột về lượt hiển thị của một nhóm trang sẽ nổi bật nhanh chóng. Tiện ích Sorank cho Chrome miễn phí thì đánh dấu các vấn đề SEO trên mọi trang bạn mở.

Tóm lại: giữ noindex trên các trang không bao giờ nên xếp hạng, gỡ nó ở nguồn trên các trang nên xếp hạng, giữ sitemap không có URL bị noindex, và không bao giờ chặn một trang trong robots.txt trong khi chờ Google đọc noindex của nó. Để xuất bản các trang được thiết kế để được lập chỉ mục và trích dẫn, xem các gói của Sorank, từ $49 mỗi tháng với bản dùng thử miễn phí 3 ngày.