Đã phát hiện, hiện chưa được lập chỉ mục: ý nghĩa và cách khắc phục

Đã phát hiện, hiện chưa được lập chỉ mục là một trong những lý do phổ biến nhất được liệt kê dưới mục “Vì sao trang không được lập chỉ mục” trong Google Search Console, và cũng là một trong những lý do bị hiểu sai nhiều nhất. Tài liệu của Google về báo cáo Lập chỉ mục trang đưa ra định nghĩa ngắn gọn: “Google đã tìm thấy trang nhưng chưa thu thập dữ liệu. Thông thường, Google muốn thu thập URL này nhưng dự kiến việc đó sẽ làm quá tải website; do đó Google đã lên lịch lại việc thu thập.” Hướng dẫn này giải thích điều nằm sau câu đó, cách phân biệt một hàng đợi bình thường với một vấn đề thật, và các cách khắc phục đưa URL ra khỏi hàng đợi. Để xem toàn bộ quy trình lập chỉ mục, xem hướng dẫn của chúng tôi về đưa trang vào chỉ mục của Google.

“Đã phát hiện, hiện chưa được lập chỉ mục” nghĩa là gì?

Google lập chỉ mục một trang qua ba giai đoạn: phát hiện (biết rằng URL tồn tại), thu thập dữ liệu (Googlebot tải trang về) và lập chỉ mục (Google phân tích nội dung và quyết định có lưu trữ hay không). Một URL ở trạng thái này mới chỉ vượt qua giai đoạn đầu. Google có địa chỉ trong hàng đợi, chưa bao giờ tải về, nên chưa đánh giá nội dung của nó. Đó là lý do trường “Thu thập lần cuối” trống khi bạn kiểm tra một URL như vậy.

Trạng thái này thường bị nhầm với trạng thái gần kề, “Đã thu thập dữ liệu, hiện chưa được lập chỉ mục”. Sự khác biệt này quyết định bạn nên tìm nguyên nhân ở đâu.

Nói ngắn gọn, “Đã phát hiện” là một vấn đề về thu thập dữ liệu, còn “Đã thu thập dữ liệu” là một quyết định về lập chỉ mục. Viết lại nội dung của một trang mà Google chưa bao giờ tải về sẽ không thay đổi gì cho đến khi Googlebot quay lại lấy trang.

“Đã phát hiện, hiện chưa được lập chỉ mục” có phải là vấn đề không?

Điều đó phụ thuộc vào số lượng và vào trang nào bị ảnh hưởng. Ba tình huống sau là bình thường và không cần hành động:

• Trang mới được đăng trong vài ngày hoặc vài tuần gần đây. Phát hiện và thu thập dữ liệu là hai bước riêng biệt, và Google lên lịch chúng.
• URL mà bạn vốn không muốn lập chỉ mục: tổ hợp bộ lọc, kết quả tìm kiếm nội bộ, trang lưu trữ thẻ, tham số theo dõi. Việc chúng xuất hiện trong danh sách chỉ là gợi ý nên chặn hoặc ngừng liên kết tới chúng, không hơn không kém.
• Một phần nhỏ của một website lớn. Không website nào có mọi URL được lập chỉ mục.

Nó trở thành vấn đề khi các trang quan trọng của bạn (sản phẩm, danh mục, bài viết, trang dịch vụ) ở trong danh sách suốt nhiều tuần, hoặc khi số lượng tăng nhanh hơn số trang đã lập chỉ mục. Hướng dẫn về ngân sách thu thập dữ liệu của chính Google nêu đúng tín hiệu này: các website có “một phần lớn tổng số URL” được phân loại là Đã phát hiện, hiện chưa được lập chỉ mục nên xem xét cách Google đang phân bổ việc thu thập dữ liệu cho chúng.

Điều gì gây ra “Đã phát hiện, hiện chưa được lập chỉ mục”?

Google quyết định lượng thu thập dữ liệu dựa trên hai yếu tố được mô tả trong tài liệu về ngân sách thu thập dữ liệu: giới hạn năng lực thu thập (máy chủ của bạn chịu được bao nhiêu mà không chậm lại) và nhu cầu thu thập (Google muốn các URL của bạn đến mức nào, dựa trên quy mô, tần suất cập nhật, chất lượng trang và mức độ liên quan so với các website khác). Mỗi nguyên nhân dưới đây làm giảm một trong hai yếu tố này. Ngân sách thu thập dữ liệu (crawl budget) quan trọng nhất đối với các website lớn, nhưng một máy chủ chậm hoặc cấu trúc website yếu cũng có thể kích hoạt trạng thái này trên một website chỉ vài trăm trang.

1. Máy chủ chậm hoặc không ổn định

Đây là nguyên nhân Google nhắc đến đầu tiên. Theo hướng dẫn về ngân sách thu thập dữ liệu, năng lực thu thập tăng khi thời gian phản hồi “duy trì ổn định hoặc cải thiện” và giảm khi website chậm đi hoặc trả về lỗi máy chủ. Hosting dùng chung, cơ sở dữ liệu quá tải, giao diện nặng hay tường lửa giới hạn Googlebot đều làm giảm số URL mà Google sẵn sàng tải về mỗi ngày.

2. Quá nhiều URL giá trị thấp cạnh tranh việc thu thập dữ liệu

Điều hướng theo bộ lọc, tham số sắp xếp, ID phiên, các trang lịch vô tận, trang thẻ tự động và các biến thể sản phẩm gần giống nhau tạo ra hàng nghìn URL. Hướng dẫn của Google cảnh báo rằng các URL trùng lặp và không quan trọng tiêu tốn thời gian thu thập, và các trang soft 404 “sẽ tiếp tục được thu thập và lãng phí ngân sách của bạn”. Những trang tốt của bạn phải chờ trong cùng một hàng đợi.

3. Liên kết nội bộ yếu

Một URL chỉ được liệt kê trong sitemap XML, hoặc chỉ được liên kết từ một trang nằm sâu năm cú nhấp chuột, gửi tín hiệu ưu tiên yếu. Tài liệu về liên kết có thể thu thập của Google bổ sung một bẫy kỹ thuật: Google “chỉ có thể thu thập liên kết của bạn nếu đó là phần tử HTML <a>” có thuộc tính href, nên các menu hay nút “tải thêm” chỉ được tạo bằng sự kiện JavaScript có thể che các trang khỏi bộ thu thập.

4. Tín hiệu chất lượng toàn website

Nhu cầu thu thập phụ thuộc một phần vào cách Google đánh giá phần còn lại của website. Nếu một phần lớn các trang đã được thu thập là nội dung mỏng hoặc nội dung trùng lặp, Google có ít lý do để vội vàng với những trang tiếp theo. Đây là lý do trạng thái này thường xuất hiện sau khi đăng hàng trăm trang tương tự cùng lúc.

5. Website mới hoặc ít người biết đến

Một tên miền non trẻ với ít backlink và nhiều nội dung mới bắt đầu với nhu cầu thu thập thấp. Mueller cũng nói trong buổi làm việc năm 2022 đó rằng một website mới có nhiều nội dung nên dự kiến phần lớn sẽ ở trạng thái này một thời gian.

Làm thế nào để chẩn đoán trong Search Console?

Hãy làm việc từ các ví dụ cụ thể trước khi thay đổi bất cứ điều gì. Quy trình này mất khoảng một giờ trên hầu hết website.

1. Mở danh sách. Trong Lập chỉ mục > Trang, nhấp vào “Đã phát hiện, hiện chưa được lập chỉ mục” và xuất các URL ví dụ (Search Console hiển thị tối đa 1,000 URL).
2. Sắp xếp theo loại. Nhóm các URL theo thư mục hoặc mẫu: sản phẩm, bài viết, URL tham số, phân trang, thẻ. Nếu phần lớn là các URL bạn không muốn lập chỉ mục, cách khắc phục là giảm bớt chúng, không phải đẩy chúng đi.
3. Kiểm tra vài trang quan trọng. Công cụ Kiểm tra URL xác nhận rằng trang chưa bao giờ được thu thập và cho biết Google tìm thấy nó trong sitemap hay qua một trang dẫn.
4. Kiểm tra phía máy chủ. Mở Cài đặt > Thống kê thu thập dữ liệu. Báo cáo Thống kê thu thập dữ liệu hiển thị trạng thái máy chủ trong 90 ngày (tải robots.txt, phân giải DNS, kết nối máy chủ), tỷ lệ lỗi 5XX và thời gian chờ, cùng thời gian phản hồi trung bình. Thời gian phản hồi tăng trong khi số yêu cầu giảm là dấu hiệu của vấn đề năng lực.
5. Kiểm tra liên kết nội bộ. Đếm có bao nhiêu liên kết nội bộ trỏ tới các trang bị ảnh hưởng và chúng xuất phát từ đâu. Một công cụ phân tích liên kết nội bộ chỉ ra các trang mồ côi và các trang bị chôn sâu trong cấu trúc.
6. Đọc nhật ký máy chủ nếu bạn có. Nhật ký cho biết Googlebot thực sự yêu cầu URL nào mỗi ngày và nó lãng phí thời gian ở đâu, thường là ở các URL tham số mà bạn không biết là tồn tại.

Làm thế nào để khắc phục “Đã phát hiện, hiện chưa được lập chỉ mục”?

Hãy khớp cách khắc phục với nguyên nhân tìm thấy khi chẩn đoán. Bảng dưới đây tóm tắt các trường hợp chính.

Cải thiện năng lực máy chủ trước

Nếu báo cáo Thống kê thu thập dữ liệu cho thấy lỗi máy chủ hoặc thời gian phản hồi tăng, mọi việc khác sẽ không có tác dụng cho đến khi điều này được sửa, vì chính Google sẽ giảm tốc độ thu thập để bảo vệ website. Hỏi nhà cung cấp hosting về giới hạn, thêm bộ nhớ đệm trang và mạng phân phối nội dung, và gỡ bỏ các script nặng khỏi giao diện.

Giảm các URL không cần thiết

Mỗi URL vô ích mà Googlebot tải về là một URL hữu ích mà nó không tải. Gỡ các liên kết nội bộ tới tổ hợp bộ lọc và tham số theo dõi, dùng công cụ kiểm tra robots.txt để thử các quy tắc Disallow trước khi chặn một mẫu, và sửa các trang soft 404. Hướng dẫn của Google nói rõ về các bản trùng lặp: loại bỏ chúng để “tập trung thu thập vào nội dung duy nhất thay vì URL duy nhất”.

Tăng liên kết nội bộ tới các trang quan trọng

Liên kết các trang bị ảnh hưởng từ những trang mà Google thu thập thường xuyên: trang chủ, danh mục chính, bài viết phổ biến. Dùng liên kết <a href> chuẩn với văn bản neo mô tả. Một kiến trúc website rõ ràng giữ mọi trang quan trọng trong vòng ba hoặc bốn cú nhấp chuột từ trang chủ, điều này làm tăng mức ưu tiên thu thập của chúng.

Dọn sitemap và chỉ yêu cầu lập chỉ mục khi cần

Gửi một sitemap XML sạch và chỉ dùng nút “Yêu cầu lập chỉ mục” cho vài URL chiến lược: nút này bị giới hạn theo hạn mức hằng ngày và không làm tăng năng lực thu thập tổng thể của bạn. Khi đã khắc phục nguyên nhân, nhấp “Xác thực khắc phục” trong báo cáo. Google cho biết việc xác thực “thường mất tối đa khoảng hai tuần, nhưng trong một số trường hợp có thể lâu hơn nhiều”, và bạn không nên nhấp lại cho đến khi nó thành công hoặc thất bại.

Nếu các trang vẫn không hiển thị sau những bước này, nguyên nhân có thể nằm ở chỗ khác: danh sách kiểm tra về các lý do website không hiển thị trên Google của chúng tôi đề cập đến hình phạt, thẻ noindex và lỗi canonical.

Vì sao điều này quan trọng với hiển thị AI (GEO)?

Một trang mà Googlebot không bao giờ thu thập thì không thể xếp hạng trên Google, và nó cũng không thể được dùng làm nguồn cho Tổng quan AI hay Chế độ AI của Google, vì những tính năng này lấy dữ liệu từ chỉ mục của Google. Một tồn đọng thu thập dữ liệu do đó làm chậm độ hiển thị của bạn ở cả kết quả truyền thống lẫn câu trả lời AI cùng lúc.

ChatGPT, Perplexity và Claude dựa vào bộ thu thập riêng và các chỉ mục đối tác, nên một trang có thể được họ tải về trong khi Google vẫn bỏ qua, hoặc ngược lại. Nhật ký máy chủ của bạn cho biết bot AI nào truy cập trang nào; mục từ điển của chúng tôi về nhật ký bộ thu thập AI giải thích cách đọc chúng. Các cách khắc phục trong hướng dẫn này (máy chủ nhanh, ít URL vô ích, liên kết nội bộ rõ ràng) giúp mọi bộ thu thập, cả Googlebot lẫn bot AI.

Sorank, sản phẩm của chúng tôi, xử lý phía nội dung của vấn đề. Bảng điều khiển GEO và SEO của phần mềm kết nối với Search Console để theo dõi số lần nhấp, lượt hiển thị và vị trí sau mỗi lần khắc phục, còn công cụ tạo bài viết xuất bản ít bài hơn nhưng sâu hơn, với liên kết nội bộ tự động tới các trang hiện có, nên URL mới được liên kết ngay từ ngày chúng được đưa lên.

Tóm lại: “Đã phát hiện, hiện chưa được lập chỉ mục” nghĩa là Google có URL của bạn nhưng chưa dành thời gian thu thập nó. Hãy bỏ qua trạng thái này với một vài trang mới, và hành động khi nó bao phủ các trang quan trọng: tăng tốc máy chủ, cắt bớt URL vô ích và liên kết các trang quan trọng. Để tự động hóa phần nội dung và liên kết nội bộ, xem các gói của Sorank, từ $49 mỗi tháng khi thanh toán hằng năm, có dùng thử miễn phí 3 ngày.