Công cụ tìm kiếm hoạt động thế nào? Thu thập dữ liệu, lập chỉ mục, xếp hạng và câu trả lời AI

Bài trắc nghiệm nhanh

SEO có phù hợp với bạn không, và nên bắt đầu như thế nào?

Câu hỏi 1 trên 425%

Mọi người có tìm kiếm trên Google những gì bạn bán không?

Có, tôi nghĩ vậyKhông, đó là thứ mới hoặc rất ngáchTôi không biết

Hiểu công cụ tìm kiếm hoạt động thế nào là nền tảng của mọi quyết định SEO: một trang chưa được thu thập thì không thể lập chỉ mục, và một trang chưa được lập chỉ mục thì không thể xếp hạng hay được trợ lý AI trích dẫn. Google giải thích quy trình này trong hướng dẫn chuyên sâu về cách Google Tìm kiếm hoạt động. Bài viết này đi theo các giai đoạn tương tự, bổ sung điều Bing làm khác, và cho thấy điều gì thay đổi khi ChatGPT, Gemini hay Perplexity trả lời thay vì một danh sách liên kết xanh.

Công cụ tìm kiếm là gì?

Công cụ tìm kiếm là phần mềm tìm các trang web khớp với một truy vấn. Nó có hai phần: một chỉ mục, tức cơ sở dữ liệu các trang đã được khám phá và phân tích, và các hệ thống xếp hạng, quyết định trang nào trong chỉ mục trả lời truy vấn tốt nhất và theo thứ tự nào. Khi bạn nhập một truy vấn, công cụ tìm kiếm không bao giờ tìm trên web trực tiếp: nó tìm trên bản sao đã lưu của chính mình. Đó là lý do một trang vừa đăng sáng nay có thể vẫn vô hình trong nhiều ngày.

Quy mô giải thích phần lớn các lựa chọn thiết kế. Theo Google, chỉ mục Tìm kiếm của Google bao gồm hàng trăm tỷ trang web và có dung lượng vượt xa 100.000.000 gigabyte (Google, Cách Tìm kiếm hoạt động). Không công cụ nào có thể thu thập lại mọi thứ mỗi ngày, nên mỗi công cụ phải ưu tiên những gì cần tải về, những gì cần giữ và những gì cần hiển thị. Google chiếm ưu thế ở hầu hết các quốc gia, nhưng Bing, Yandex, Baidu, Naver và các công cụ đề cao quyền riêng tư đều theo cùng một logic, như danh sách công cụ tìm kiếm thay thế Google của chúng tôi cho thấy.

Công cụ tìm kiếm hoạt động thế nào, từng bước một?

Ba giai đoạn cổ điển dễ hành động hơn khi chia thành năm bước, mỗi bước có đòn bẩy riêng.

Bước 1: thu thập dữ liệu, khám phá trang

Thu thập dữ liệu là giai đoạn khám phá. Các chương trình tự động gọi là trình thu thập (Googlebot cho Google, Bingbot cho Bing) bắt đầu từ những URL mà chúng đã biết và đi theo liên kết để tìm URL mới. Chúng cũng đọc các sơ đồ trang XML mà chủ website gửi lên. Google cho biết Googlebot dùng một thuật toán để quyết định website nào cần thu thập, tần suất thế nào và lấy bao nhiêu trang từ mỗi website, và Googlebot cố gắng không thu thập quá nhanh đến mức làm quá tải máy chủ.

Ba điều chặn việc thu thập dữ liệu: một quy tắc disallow trong tệp robots.txt, các trang nằm sau đăng nhập, và lỗi máy chủ hoặc quá thời gian chờ. Đòn bẩy là một cấu trúc liên kết nội bộ gọn gàng, không có trang mồ côi, một sơ đồ trang XML luôn cập nhật và một máy chủ nhanh, ổn định. Các website lớn còn quản lý ngân sách thu thập (crawl budget) của mình: số URL mà trình thu thập sẵn sàng tải trên website trong một khoảng thời gian nhất định.

Bước 2: kết xuất, xem trang như một trình duyệt

Nhiều trang xây dựng nội dung bằng JavaScript. Google kết xuất trang bằng một phiên bản Chrome gần đây, nên có thể chạy script và thấy những gì khách truy cập thấy. Việc kết xuất tốn tài nguyên và có thể bị trì hoãn, còn nội dung chỉ hiện sau một cú nhấp, hoặc phụ thuộc vào một script bị lỗi, có thể không bao giờ được nhìn thấy. Nhiều trình thu thập khác, trong đó có một số trình thu thập AI, hoàn toàn không chạy JavaScript: nội dung quan trọng phải nằm trong HTML ban đầu.

Bước 3: lập chỉ mục, hiểu và lưu trữ

Lập chỉ mục là giai đoạn phân tích. Công cụ đọc văn bản, tiêu đề, đề mục, hình ảnh, video và dữ liệu có cấu trúc, rồi nhóm các trang có nội dung tương tự và chọn một URL đại diện, gọi là URL chuẩn (canonical), tức phiên bản đủ điều kiện xuất hiện trong kết quả. Nó lưu các tín hiệu về trang đó: ngôn ngữ, quốc gia mục tiêu, độ mới, khả năng sử dụng. Google so sánh chỉ mục của mình với mục lục ở cuối một cuốn sách, với một mục cho mỗi từ đã thấy trên mỗi trang đã lập chỉ mục.

Việc lập chỉ mục không bao giờ được đảm bảo. Google cho biết không phải mọi trang nó xử lý đều sẽ được lập chỉ mục: nội dung mỏng hoặc trùng lặp, chỉ thị noindex, hay một thiết kế gây khó cho việc phân tích đều có thể khiến trang bị loại ra. Hướng dẫn của chúng tôi về đưa trang vào chỉ mục Google trình bày cách khắc phục, và công cụ kiểm tra khả năng lập chỉ mục miễn phí cho bạn biết trong vài giây một URL có thể được lập chỉ mục hay không.

Bước 4: xếp hạng, chọn câu trả lời tốt nhất

Khi một truy vấn đến, công cụ trước hết diễn giải nó: chính tả, từ đồng nghĩa, ngôn ngữ, vị trí và ý định đằng sau từ ngữ (tìm hiểu, so sánh, mua, tới một website cụ thể). Sau đó nó lấy các trang ứng viên từ chỉ mục và sắp xếp chúng bằng nhiều hệ thống xếp hạng cùng hoạt động. Google gom các yếu tố chính thành ý nghĩa của truy vấn, mức độ liên quan của nội dung, chất lượng, khả năng sử dụng của trang và bối cảnh tìm kiếm, chẳng hạn vị trí và cài đặt. Liên kết từ các website khác vẫn là một tín hiệu về độ uy tín. Bức tranh đầy đủ nằm trong phân tích của chúng tôi về các yếu tố xếp hạng của Google.

Hai điểm thường bị hiểu sai. Thứ nhất, Google khẳng định họ không nhận tiền để thu thập một website thường xuyên hơn hay xếp hạng nó cao hơn: quảng cáo được bán riêng và được gắn nhãn như vậy. Thứ hai, vị trí và ngôn ngữ làm thay đổi kết quả nhiều hơn rất nhiều so với lịch sử duyệt web cá nhân.

Bước 5: hiển thị, dựng trang kết quả

Bước cuối cùng ghép lại trang kết quả. Mười liên kết xanh đã trở thành hỗn hợp gồm quảng cáo, kết quả địa phương, hình ảnh, video, các khung “Mọi người cũng hỏi”, đoạn trích nổi bật và, với nhiều truy vấn thông tin, một AI Overview. Tiêu đề và mô tả hiển thị lấy từ thẻ tiêu đề, mô tả meta và nội dung trang, còn dữ liệu có cấu trúc có thể giúp trang đủ điều kiện hiển thị kết quả nổi bật. Mỗi định dạng là một cơ hội được nhìn thấy riêng.

Bing khác Google ở điểm nào?

Bing theo cùng mô hình thu thập, lập chỉ mục và xếp hạng, với một vài khác biệt thực tế. Khác biệt chính là IndexNow, một giao thức cho phép website thông báo cho công cụ tìm kiếm ngay khi một URL được thêm, cập nhật hoặc xóa, thay vì chờ lần thu thập tiếp theo. Theo IndexNow.org, giao thức này được Microsoft Bing, Naver, Seznam.cz, Yandex và Yep hỗ trợ; Google chưa áp dụng. Kết quả Bing cũng cấp dữ liệu cho Microsoft Copilot. Thị phần của Bing nhỏ ở hầu hết các quốc gia, nhưng thiết lập Bing Webmaster Tools chỉ mất vài phút và mở ra một nguồn lưu lượng và dữ liệu thứ hai.

Trợ lý AI như ChatGPT và AI Overviews tìm nội dung thế nào?

Câu trả lời AI nằm trên nền của công cụ tìm kiếm chứ không thay thế chúng. Hầu hết dựa vào sinh tạo tăng cường truy xuất (RAG): hệ thống chạy một hoặc nhiều tìm kiếm, lấy các đoạn liên quan nhất từ một chỉ mục web, rồi một mô hình ngôn ngữ viết câu trả lời có trích dẫn một số nguồn đó.

• Google AI Overviews và AI Mode dùng chính chỉ mục của Google. Trang của Google về tính năng AI và website của bạn nêu rằng một trang chỉ cần được lập chỉ mục và đủ điều kiện hiển thị một đoạn trích, không cần đánh dấu đặc biệt hay tệp văn bản dành cho AI. Các tính năng này dùng “phân tách truy vấn” (query fan-out): chúng gửi nhiều tìm kiếm liên quan trên các chủ đề con để thu thập trang hỗ trợ.
• Tìm kiếm của ChatGPT lấy trang bằng trình thu thập OAI-SearchBot của OpenAI. Theo tài liệu về trình thu thập của OpenAI, các website chặn OAI-SearchBot sẽ bị loại khỏi câu trả lời tìm kiếm của ChatGPT, trong khi GPTBot là một trình thu thập riêng dùng để huấn luyện mô hình.
• Gemini, Perplexity và Claude cũng kết hợp truy xuất web với sinh nội dung: Gemini dựa trên Google Tìm kiếm, còn Perplexity và Claude gửi trình thu thập riêng (PerplexityBot, Claude-SearchBot) để lập chỉ mục các trang mà họ có thể trích dẫn.

Hệ quả: các giai đoạn cổ điển vẫn quyết định khả năng hiển thị trên AI. Một trang bị chặn thu thập, thiếu trong chỉ mục hoặc bị chôn sâu trong xếp hạng thì rất ít cơ hội được truy xuất, và do đó không được trích dẫn. Điều thay đổi là lựa chọn cuối cùng: AI chọn các đoạn văn, không phải cả trang, và ưu tiên định nghĩa rõ ràng, số liệu có nguồn và câu trả lời trực tiếp. Nghiên cứu của chúng tôi về các nguồn mà ChatGPT trích dẫn cho thấy loại trang nào giành được những trích dẫn đó.

Bạn kiểm soát được gì ở mỗi giai đoạn?

Sắp các giai đoạn theo thứ tự, bạn sẽ có một danh sách kiểm tra dùng được cho cả Google, Bing và trợ lý AI:

1. Cho đúng bot vào. Kiểm tra robots.txt xem có quy tắc disallow vô tình nào không, và chủ động quyết định trình thu thập AI nào được phép.
2. Làm cho mọi trang quan trọng có thể tới được trong vòng ba cú nhấp qua liên kết nội bộ, và đưa nó vào sơ đồ trang.
3. Phục vụ nội dung trong HTML, không chỉ qua JavaScript, với phản hồi máy chủ nhanh và ổn định.
4. Gán cho mỗi chủ đề một URL chuẩn và tránh các trang gần như trùng lặp làm phân tán tín hiệu.
5. Khớp với ý định tìm kiếm. Bắt đầu từ các câu hỏi người ta gõ, điều mà nghiên cứu từ khóa làm lộ ra, và trả lời chúng ngay ở những dòng đầu của trang.
6. Tạo dựng độ uy tín qua liên kết và lượt nhắc đến từ các website liên quan.
7. Viết những đoạn có thể trích dẫn: một định nghĩa, một con số kèm nguồn, một danh sách bước ngắn.
8. Đo lường cả hai kênh: Search Console cho Google, và theo dõi lượt nhắc đến trên AI để xem ChatGPT, Gemini hay Claude có trích dẫn thương hiệu của bạn không.

Công cụ tìm kiếm đã thay đổi thế nào theo thời gian?

Các công cụ đầu tiên vào những năm 1990 xếp hạng trang chủ yếu theo việc khớp từ khóa, và điều đó rất dễ thao túng. PageRank của Google, coi liên kết như những lá phiếu, làm cho việc xếp hạng khó bị lợi dụng hơn nhiều, và những thập kỷ sau bổ sung khả năng hiểu ngôn ngữ qua các mô hình học máy như BERT, lập chỉ mục ưu tiên thiết bị di động, phát hiện spam và các hệ thống đánh giá chất lượng. Lịch sử của Google cho thấy một mô hình ổn định: mỗi thay đổi lớn đều thưởng cho những trang viết cho con người và phạt các lối tắt. Câu trả lời sinh tạo là bước mới nhất, và chúng thưởng cho cùng một điều: nội dung rõ ràng, đáng tin, có cấu trúc tốt.

Từ thu thập dữ liệu đến lưu lượng: bắt đầu từ đâu

Công cụ tìm kiếm thưởng cho những trang mà chúng thu thập được, hiểu được và tin cậy được, còn trợ lý AI trích dẫn những trang mà công cụ tìm kiếm đã xếp hạng. Hãy sửa khả năng truy cập trước, rồi đến lập chỉ mục, rồi đến mức độ liên quan và độ uy tín. Để duy trì điều này đều đặn từng tuần, Sorank tìm từ khóa của bạn, đăng các bài viết đã tối ưu có nguồn và liên kết nội bộ, và theo dõi xem ChatGPT, Gemini và Claude có trích dẫn thương hiệu của bạn hay không, theo chế độ autopilot.