Cách gửi trang web của bạn tới công cụ tìm kiếm: Google, Bing, IndexNow và AI

Để gửi trang web tới công cụ tìm kiếm nghĩa là báo cho các công cụ này biết trang web và các trang của bạn tồn tại, thông qua bảng quản trị dành cho webmaster, một sitemap hoặc một giao thức thông báo. Việc này không đảm bảo lập chỉ mục hay thứ hạng. Tài liệu chính thức của Google về yêu cầu Google thu thập lại URL cảnh báo rằng việc thu thập dữ liệu có thể mất từ vài ngày đến vài tuần. Hướng dẫn này trình bày từng công cụ tìm kiếm, các công cụ nên dùng, và việc cần làm với ChatGPT cùng các trợ lý AI khác.

Bạn có còn cần gửi trang web tới công cụ tìm kiếm không?

Nói chặt chẽ thì không cần. Công cụ tìm kiếm phát hiện trang bằng cách thu thập dữ liệu theo liên kết: ngay khi một trang web đã được lập chỉ mục có liên kết tới trang của bạn, bot sẽ tìm thấy trang đó. Tuy vậy, việc gửi trang vẫn đáng bỏ ra mười phút, vì ba lý do sau:

• Trang web mới chưa có backlink có thể phải chờ nhiều tuần trước khi bot tình cờ tìm thấy.
• Công cụ quản trị cho thấy điều gì đang hỏng: trang bị loại khỏi chỉ mục, lỗi máy chủ, tài nguyên bị chặn, hành động thủ công. Thiếu chúng, bạn làm việc trong bóng tối.
• Trang mới và trang vừa cập nhật được ghi nhận nhanh hơn khi một sitemap hoặc một thông báo cho công cụ biết chúng đã thay đổi.

Việc gửi trang không thay thế các yếu tố nền tảng: trang phải thu thập được, trả về mã trạng thái 200, không có thẻ noindex và có nội dung đáng được lập chỉ mục. Nếu trang đã gửi mà vẫn chưa xuất hiện, hướng dẫn về các vấn đề lập chỉ mục trên Google của chúng tôi sẽ giúp bạn chẩn đoán.

Làm sao để gửi trang web tới Google?

1. Thêm và xác minh trang web trong Search Console

Tạo một thuộc tính trong Google Search Console. Thuộc tính miền bao phủ mọi tên miền phụ và giao thức (http, https, www, không www), và được xác minh bằng một bản ghi DNS tại nhà đăng ký tên miền của bạn. Thuộc tính theo tiền tố URL chỉ bao phủ một phiên bản của trang web và chấp nhận các phương thức khác: tệp HTML, thẻ meta, Google Analytics hoặc Google Tag Manager. Hầu hết các nền tảng CMS và lưu trữ đều có hướng dẫn thêm bản ghi DNS chỉ trong vài phút.

2. Gửi sitemap XML

Một sitemap XML liệt kê các URL bạn muốn lập chỉ mục. WordPress, Shopify, Webflow và Wix tự tạo sitemap (thường ở /sitemap.xml); nếu không, một công cụ tạo sitemap sẽ làm việc đó. Trong Search Console, mở mục Sitemaps, dán URL và gửi. Tài liệu về sitemap của Google giới hạn 50.000 URL hoặc 50 MB chưa nén cho mỗi tệp (trang lớn hơn dùng một chỉ mục sitemap) và gọi việc gửi là “chỉ là gợi ý”: nó giúp phát hiện trang nhưng không đảm bảo gì. Cũng hãy thêm một dòng Sitemap: vào tệp robots.txt, vì mọi công cụ tìm kiếm lớn đều đọc dòng này.

3. Yêu cầu lập chỉ mục cho các trang quan trọng

Với một số ít trang quan trọng (trang chủ mới, một đợt ra mắt, một bài viết đã sửa), hãy dán URL vào công cụ Kiểm tra URL rồi nhấn Yêu cầu lập chỉ mục. Google áp dụng hạn mức cho các yêu cầu này và khẳng định việc yêu cầu lặp lại cùng một URL nhiều lần sẽ không giúp trang được thu thập nhanh hơn. Với nhiều hơn vài URL, hãy dựa vào sitemap.

4. Kiểm tra báo cáo Trang sau vài ngày

Báo cáo Trang liệt kê các URL đã được lập chỉ mục và lý do các URL khác bị loại trừ (“Đã thu thập dữ liệu nhưng hiện chưa được lập chỉ mục”, “Trùng lặp, không có canonical do người dùng chọn”, bị robots.txt chặn, v.v.). Một công cụ kiểm tra khả năng lập chỉ mục miễn phí cho biết trong vài giây liệu một trang có thể được lập chỉ mục hay không.

Vì sao trang đã gửi vẫn chưa có trên Google?

Việc gửi chỉ đưa một URL vào hàng đợi. Khi một trang vẫn nằm ngoài chỉ mục, nguyên nhân gần như luôn thuộc một trong các trường hợp sau:

1. Bị chặn thu thập: một quy tắc Disallow trong robots.txt, thường là phần còn sót lại từ môi trường thử nghiệm.
2. Chỉ thị noindex trong thẻ meta robots hoặc tiêu đề HTTP X-Robots-Tag.
3. Thẻ canonical trỏ đi nơi khác, nghĩa là bảo Google lập chỉ mục một URL khác thay thế.
4. Nội dung trùng lặp hoặc mỏng: Google thu thập trang nhưng quyết định nó không thêm gì so với các trang đã được lập chỉ mục.
5. Tín hiệu khám phá yếu: một trang mồ côi không có liên kết nội bộ, trên một tên miền non trẻ chưa có backlink.
6. Lỗi máy chủ hoặc phản hồi chậm, khiến bot giảm tốc độ hoặc bỏ cuộc.

Ba nguyên nhân đầu được sửa trong vài phút khi đã phát hiện. Ba nguyên nhân sau cần công việc về nội dung và liên kết, không công cụ gửi trang nào thay thế được.

Làm sao để gửi trang web tới Bing, Yahoo và DuckDuckGo?

Tạo tài khoản trong Bing Webmaster Tools. Cách nhanh nhất là tùy chọn nhập: Bing đọc các trang web và sitemap đã xác minh từ Google Search Console, nên bạn không phải xác minh lần thứ hai. Sau đó, kiểm tra xem sitemap đã được tải về chưa, và dùng mục URL Submission cho các trang cần gấp.

Bing quan trọng hơn cả thị phần tìm kiếm của chính nó. Kết quả tìm kiếm của Yahoo chạy trên Bing, còn DuckDuckGo không có công cụ gửi trang nào, nên một trang web được lập chỉ mục tốt trên Bing cũng được phủ sóng ở các công cụ này. Chỉ mục của Bing còn cung cấp dữ liệu cho các sản phẩm AI, điều mà phần về AI bên dưới sẽ trình bày. Về các lựa chọn khác cho người tìm kiếm, xem tổng quan của chúng tôi về các công cụ tìm kiếm thay thế Google.

IndexNow là gì, và những công cụ tìm kiếm nào dùng nó?

IndexNow là một giao thức mở cho phép trang web thông báo cho công cụ tìm kiếm ngay khi một URL được thêm, cập nhật hoặc xóa, thay vì chờ lần thu thập tiếp theo. Theo tài liệu chính thức của IndexNow, các công cụ tham gia đồng ý rằng một URL gửi cho một trong số đó sẽ được chia sẻ với tất cả các công cụ còn lại, và một yêu cầu có thể chứa tối đa 10.000 URL. Các công cụ tham gia được liệt kê trên indexnow.org gồm Microsoft Bing, Naver, Seznam.cz, Yandex và Yep. Google không nằm trong danh sách này.

Thiết lập chỉ mất vài phút: tạo một khóa, đặt khóa đó dưới dạng tệp văn bản ở thư mục gốc của trang web, rồi gửi URL tới API. Nhiều nền tảng và CDN cung cấp IndexNow như một tùy chọn có sẵn hoặc một plugin, và plugin này sẽ tự động thông báo cho các công cụ mỗi khi bạn đăng hoặc cập nhật một trang.

Làm sao để gửi trang web tới các công cụ tìm kiếm khác?

Bên ngoài thị trường nói tiếng Anh, các công cụ tìm kiếm địa phương có bảng quản trị riêng. Bảng sau tóm tắt nơi cần đến:

Mỗi bảng quản trị xác minh quyền sở hữu theo cách tương tự (thẻ meta, tệp hoặc DNS) và chấp nhận sitemap của bạn. Trước khi gửi, hãy chạy một công cụ kiểm tra sitemap: một sitemap đầy chuyển hướng, lỗi 404 hoặc URL không chuẩn sẽ làm lãng phí thời gian thu thập của mọi công cụ cùng lúc.

ChatGPT, Perplexity và các trợ lý AI khác tìm thấy trang web của bạn như thế nào?

Không có biểu mẫu nào để gửi trang web tới ChatGPT, Claude, Gemini hay Perplexity. Họ tiếp cận các trang của bạn theo hai cách: qua bot thu thập dữ liệu AI riêng của họ, và qua các chỉ mục tìm kiếm mà họ truy vấn theo thời gian thực.

• Cho phép bot tìm kiếm trong robots.txt. Tài liệu về bot thu thập dữ liệu của OpenAI nêu rõ rằng các trang web chặn OAI-SearchBot sẽ không được hiển thị trong câu trả lời của tìm kiếm ChatGPT. Chặn GPTBot là một lựa chọn riêng, chỉ liên quan đến việc huấn luyện mô hình. Hãy rà soát robots.txt và các quy tắc tường lửa của bạn đối với OAI-SearchBot, PerplexityBot và ClaudeBot.
• Được lập chỉ mục trên Bing và Google. Trung tâm trợ giúp của OpenAI cho biết tìm kiếm ChatGPT hoạt động cùng các nhà cung cấp tìm kiếm bên thứ ba, và Bing được nhiều nguồn cho là một trong số đó; Gemini và AI Overviews dựa vào chỉ mục của Google. Lập chỉ mục tốt trên cả hai công cụ là nền tảng của khả năng hiển thị trên AI.
• Đưa nội dung vào HTML. Phần lớn bot AI không chạy JavaScript, nên văn bản chỉ xuất hiện sau khi script chạy sẽ không được đọc.
• Cân nhắc tệp llms.txt. Đây là một đề xuất của cộng đồng, tóm tắt các trang chính của bạn cho mô hình ngôn ngữ; không nhà cung cấp AI lớn nào yêu cầu tệp này, nhưng chi phí để làm rất thấp. Công cụ tạo llms.txt của chúng tôi sẽ tạo một tệp cho bạn.

Để biết các nỗ lực này có hiệu quả hay không, hãy kiểm tra chính các câu trả lời. Tính năng Theo dõi lượt nhắc đến trên AI của Sorank theo dõi một bộ câu hỏi trên ChatGPT, Claude và Gemini (cùng Grok từ gói Pro) và cho biết thương hiệu của bạn có được trích dẫn hay không, cũng như ai được trích dẫn thay thế.

Có nên trả tiền cho dịch vụ gửi trang tới công cụ tìm kiếm không?

Không. Các dịch vụ hứa gửi trang web của bạn tới “500 công cụ tìm kiếm” với một khoản phí chỉ bán thứ bạn có thể tự làm miễn phí trong chưa đầy một giờ, và phần lớn công cụ trong danh sách của họ hầu như không có lưu lượng. Các công cụ quan trọng (Google, Bing và các thành viên IndexNow) đều cung cấp công cụ miễn phí. Điều tương tự áp dụng cho các gói “lập chỉ mục tức thì” trả phí: không bên thứ ba nào có thể buộc Google lập chỉ mục một trang. Điều quyết định việc lập chỉ mục là chất lượng trang, liên kết nội bộ và các liên kết mà trang nhận được từ những trang web khác.

Gửi trang web chỉ mất chưa đầy một giờ: xác minh trong Google Search Console và Bing Webmaster Tools, gửi sitemap, bật IndexNow và mở robots.txt cho các bot tìm kiếm AI. Sau đó, công việc chuyển sang đăng các trang đáng được lập chỉ mục và được trích dẫn. Sorank viết và đăng bài SEO và GEO theo chế độ autopilot, với liên kết nội bộ và nguồn tham khảo, để mỗi trang mới cho công cụ tìm kiếm và trợ lý AI một lý do để quay lại.