Thuật toán BERT: Cách Google học đọc ngôn ngữ trong ngữ cảnh

BERT là một kỹ thuật mạng nơ-ron xử lý ngôn ngữ tự nhiên mà Google đưa vào Tìm kiếm vào tháng 10 năm 2019. Viết tắt của Bidirectional Encoder Representations from Transformers (biểu diễn bộ mã hóa hai chiều từ transformer), nó giúp công cụ hiểu toàn bộ ngữ cảnh của các từ trong truy vấn bằng cách xem xét những từ đứng trước và sau mỗi từ. Khi ra mắt, Google cho biết nó sẽ cải thiện một trong mười truy vấn tiếng Anh tại Hoa Kỳ, bước nhảy lớn nhất trong khả năng hiểu ngôn ngữ của Google kể từ RankBrain.

BERT không phải là hình phạt xếp hạng hay một tinh chỉnh có thể thao túng. Đó là bản nâng cấp khả năng thấu hiểu, cho phép Google diễn giải cách diễn đạt lộn xộn, mang tính hội thoại như cách một người sẽ hiểu. Với người viết nội dung, sự chuyển dịch này thưởng cho ngôn ngữ rõ ràng, tự nhiên và âm thầm phạt những mánh nhồi từ khóa bỏ qua ý nghĩa.

Thuật toán BERT là gì?

BERT đồng thời là ba thứ: một thành phần của Google Tìm kiếm, một khung nghiên cứu mã nguồn mở, và một công cụ xử lý ngôn ngữ tự nhiên đa dụng. Google công bố mã nguồn mở năm 2018 và đưa nó vào Tìm kiếm năm sau. Nhiệm vụ của nó là mô hình hóa cách các từ liên hệ với nhau trong một câu, để công cụ có thể đọc một truy vấn như một ý nghĩ liền mạch thay vì một túi từ khóa rời rạc.

Bước đột phá nằm ở khả năng hiểu theo ngữ cảnh. Các hệ thống trước đây thường xem từng từ một cách riêng lẻ hoặc quét văn bản theo một chiều. BERT xử lý mỗi từ trong mối quan hệ với mọi từ xung quanh, nhờ đó phân giải được nghĩa, xác định đại từ và nhận ra khi một từ nhỏ như giới từ làm thay đổi toàn bộ yêu cầu.

BERT hoạt động thế nào: transformer hai chiều

Chữ B trong BERT là bidirectional, tức hai chiều. Các mô hình ngôn ngữ cũ như Word2Vec đọc văn bản theo một hướng, từ trái sang phải hoặc ngược lại, qua một cửa sổ giới hạn. BERT đọc toàn bộ câu ở cả hai phía của một từ cùng lúc, cho nó cảm nhận ngữ cảnh phong phú hơn hẳn. Đây là ý tưởng quan trọng nhất đứng sau độ chính xác của nó.

Chữ T là transformer, kiến trúc transformer làm nền cho hầu hết các mô hình ngôn ngữ hiện đại. BERT được huấn luyện bằng phương pháp gọi là mô hình ngôn ngữ che từ (masked language modeling): nó che một số từ và học cách đoán chúng từ văn bản xung quanh, buộc nó phải xây dựng một mô hình sâu về cách ngôn ngữ ghép lại với nhau. Quá trình tiền huấn luyện này, một dạng của học máy, là thứ mang lại cho BERT sự nắm bắt ý nghĩa tổng quát.

BERT trong thực tế: ví dụ về lề đường và visa

Google minh họa BERT bằng hai truy vấn nay đã nổi tiếng. Với một tìm kiếm về việc người Brazil đi Mỹ có cần visa không, hệ thống cũ bỏ sót giới từ "to" và trả về các trang về công dân Mỹ đi du lịch Brazil. BERT nhận ra giới từ đã đảo ngược ý nghĩa và đưa ra đúng thông tin cho người Brazil muốn sang Mỹ.

Ví dụ thứ hai liên quan đến việc đỗ xe trên một con dốc không có lề đường. Trước đây Google dựa vào từ lề đường và bỏ qua từ "không", nên trả về kết quả ngược lại với điều người tìm kiếm muốn. BERT xử lý đúng phủ định. Cả hai trường hợp cho thấy sức mạnh của nó với các truy vấn dài hơn, mang tính hội thoại hơn và những tìm kiếm mà các giới từ như "for" và "to" mang nghĩa.

BERT so với RankBrain

BERT là thay đổi lớn nhất đối với Tìm kiếm kể từ khi RankBrain ra mắt khoảng năm năm trước đó, và hai hệ thống này phối hợp với nhau chứ không cạnh tranh. RankBrain điều chỉnh cách Google diễn giải truy vấn và tinh chỉnh kết quả dựa trên hành vi người dùng, học các mẫu theo thời gian. Đây là lần đầu tiên Google dùng trí tuệ nhân tạo ở quy mô lớn để hiểu tìm kiếm.

BERT chuyên biệt hơn. Nó tập trung vào cấu trúc ngôn ngữ của truy vấn, phân tích cách các từ kết hợp để tạo thành ý định. Trong khi RankBrain học từ tương tác trên nhiều tìm kiếm, BERT mang khả năng thấu hiểu ngôn ngữ sâu đến từng truy vấn cụ thể trước mặt nó. Cả hai đều là một phần của họ hệ thống lớn hơn đưa Google tiến tới tìm kiếm ngữ nghĩa thực sự.

BERT được áp dụng ở đâu trong Tìm kiếm

BERT hoạt động cả ở phía truy vấn lẫn phía kết quả. Nó giúp Google phân tích người tìm kiếm thực sự muốn gì, điều quan trọng nhất với cách diễn đạt tự nhiên, kiểu nói chuyện. Nó cũng nâng cao chất lượng các đoạn trích nổi bật, và Google báo cáo đã áp dụng BERT tại hơn hai chục quốc gia với những tiến bộ đáng kể ở các ngôn ngữ như tiếng Hàn, tiếng Hindi và tiếng Bồ Đào Nha.

Vì cải thiện cách công cụ đọc ý định tìm kiếm, BERT có xu hướng thưởng cho các trang trả lời câu hỏi thật một cách rõ ràng. Nó đưa Tìm kiếm rời khỏi việc khớp từ khóa theo nghĩa đen, hướng tới khớp với ý nghĩa đằng sau truy vấn, đó là lý do nội dung bao quát chủ đề kỹ lưỡng hoạt động tốt hơn nội dung nhồi các cụm từ chính xác.

Có thể tối ưu cho BERT không?

Không trực tiếp, và đó chính là điểm mấu chốt. Google đã nói rất rõ rằng không có gì để tối ưu: BERT là khung thấu hiểu ngôn ngữ, không phải đòn bẩy xếp hạng. Hướng dẫn chính thức chỉ đơn giản là viết tự nhiên, vì BERT giúp Google hiểu nội dung đã được viết tốt chứ không thưởng cho bất kỳ định dạng đặc biệt nào.

Trong thực tế, điều này có nghĩa là tập trung vào sự rõ ràng và nhu cầu của người tìm kiếm. Các trang có nội dung viết tốt, mang tính hội thoại và trả lời thật sự câu hỏi thường được hưởng lợi, trong khi nhồi từ khóa không có ngữ cảnh có thể mất vị thế. Căn chỉnh văn bản với các câu hỏi thực của người dùng, được hỗ trợ bởi nghiên cứu từ khóa và lập kế hoạch nội dung có kỷ luật, là cách đáng tin cậy nhất để đứng đúng phía của các hệ thống hiểu ngôn ngữ.

Vì sao BERT quan trọng với SEO và GEO

Với SEO, BERT xác nhận một hướng đi lâu dài: viết cho con người trước. Nó biến ý nghĩa, cấu trúc và sự rõ ràng thành đồng tiền của tìm kiếm thay vì từ khóa khớp chính xác, củng cố giá trị của nội dung hữu ích đáp ứng ý định. Các trang mỏng hoặc thao túng trở nên dễ bị Google nhìn thấu hơn.

Với tối ưu hóa công cụ tạo sinh, BERT là tổ tiên sớm của các hệ thống hiện đang vận hành tìm kiếm AI. Cùng loại thấu hiểu hai chiều, dựa trên transformer, nằm dưới các mô hình ngôn ngữ lớn đứng sau những trợ lý như ChatGPT, Perplexity và Gemini. Nội dung được viết đủ rõ để BERT hiểu cũng là nội dung mà các hệ thống LLM này có thể phân tích, tin cậy và trích dẫn, khiến ngôn ngữ tốt trở thành nền tảng chung cho cả tìm kiếm lẫn khả năng hiển thị AI.

Kết luận

BERT đánh dấu thời điểm Google học cách đọc truy vấn trong ngữ cảnh, dùng transformer hai chiều để cân nhắc mọi từ với những từ lân cận. Khi ra mắt, nó cải thiện một trong mười truy vấn tiếng Anh, làm sắc nét thêm các đoạn trích nổi bật và đẩy SEO dứt khoát sang hướng viết tự nhiên, dựa trên ý định. Không có mẹo nào để tối ưu cho nó, chỉ có kỷ luật trả lời các câu hỏi thực một cách rõ ràng.

Để đi xa hơn, hãy kết nối điều này với xử lý ngôn ngữ tự nhiên và tìm kiếm ngữ nghĩa, và dùng các công cụ nghiên cứu và lập kế hoạch nội dung của Sorank để nhắm đến những câu hỏi mọi người thực sự đặt ra. Nguồn tham khảo: Google Blog, Search Engine Journal và Search Engine Land.