Học zero-shot giúp các mô hình AI xử lý tác vụ và danh mục mới mà không cần ví dụ nào. Tìm hiểu cách hoạt động, ứng dụng và lý do nó quan trọng với GEO.

Trên trang này
Tóm tắt
Học zero-shot là một phương pháp học máy cho phép mô hình nhận diện, phân loại hoặc thực hiện các tác vụ mà nó chưa từng gặp trong quá trình huấn luyện, bằng cách dựa vào thông tin bổ trợ và kiến thức chung đã học trước đó.
Muốn tìm hiểu sâu hơn? Hãy hỏi
Học zero-shot là một phương pháp học máy cho phép mô hình nhận diện, phân loại hoặc hiểu những loại dữ liệu, tác vụ hay thông tin mới mà nó chưa từng thấy trong quá trình huấn luyện. Thay vì cần các ví dụ được gán nhãn cho mọi danh mục mới, mô hình hiểu các đầu vào lạ bằng cách liên hệ chúng với những gì nó đã biết. Với các mô hình ngôn ngữ lớn, điều này cho phép bạn yêu cầu một tác vụ mà không đưa ra bất kỳ ví dụ nào và vẫn nhận được câu trả lời hữu ích.
Điều này quan trọng vì đây là lý do các trợ lý AI hiện nay linh hoạt đến vậy. Khi ChatGPT, Claude hay Gemini trả lời một câu hỏi hoặc phân loại một đoạn văn mà chúng chưa từng được huấn luyện rõ ràng, chúng đang thực hiện học zero-shot. Hiểu được điều này giúp bạn thấy rõ cả sức mạnh lẫn giới hạn của những hệ thống ngày càng quyết định cách nội dung được tóm tắt và trích dẫn.
Học zero-shot mô tả khả năng của mô hình xử lý các lớp hoặc tác vụ mà nó chưa nhận được ví dụ huấn luyện cụ thể nào. Ví dụ kinh điển thuộc về thị giác máy tính: một mô hình được huấn luyện để nhận diện ngựa nhưng chưa bao giờ thấy ngựa vằn vẫn có thể nhận ra ngựa vằn nếu biết rằng ngựa vằn trông giống một con ngựa có sọc. Mô tả bằng văn bản giúp thu hẹp khoảng cách giữa những gì mô hình đã học và những gì nó đang gặp.
Với mô hình ngôn ngữ, nguyên lý tương tự áp dụng cho tác vụ thay vì hình ảnh. Bạn có thể yêu cầu mô hình phân loại cảm xúc của một bài đánh giá nhà hàng mà không đưa cho nó bài đánh giá có nhãn nào, và nó sẽ dựa trên hiểu biết chung về ngôn ngữ để trả lời. Đặc điểm quyết định là không có ví dụ riêng cho tác vụ, và điều này tách zero-shot khỏi các cách tiếp cận dựa vào những minh họa.
Các phương pháp zero-shot thường hoạt động bằng cách kết nối các lớp đã quan sát và chưa quan sát thông qua một loại thông tin bổ trợ mã hóa đặc điểm phân biệt của chúng. Trên thực tế, điều này thường có nghĩa là sắp xếp kiến thức theo ý nghĩa ngữ nghĩa trong một không gian chung, để một đầu vào mới có thể được đặt gần những khái niệm mà nó giống. Mô hình thu thập kiến thức rộng trong giai đoạn tiền huấn luyện, rồi liên kết các đầu vào lạ với kiến thức sẵn có đó để đưa ra dự đoán.
Riêng với mô hình ngôn ngữ lớn, khả năng này đến từ hiểu biết ngữ nghĩa được xây dựng trong quá trình tiền huấn luyện trên lượng văn bản khổng lồ. Mô hình đã nội hóa các mối quan hệ giữa các khái niệm đủ tốt để một chỉ dẫn được diễn đạt rõ ràng là đủ kích hoạt đúng hành vi. Việc dựa vào các embedding đã học và kiến thức tiền huấn luyện rộng này chính là điều giúp một LLM đạt được hiệu suất zero-shot.
Trong bối cảnh mô hình ngôn ngữ, học zero-shot xuất hiện dưới dạng prompt zero-shot: yêu cầu mô hình thực hiện một tác vụ chỉ bằng một chỉ dẫn, không kèm ví dụ nào. Bạn chỉ cần mô tả điều mình muốn, chẳng hạn “phân loại đoạn văn này là tích cực hay tiêu cực”, “dịch câu này”, “tóm tắt tài liệu này”, và mô hình sẽ hiểu chỉ dẫn rồi tạo ra kết quả.
Đây là cách đơn giản nhất để làm việc với một LLM và là mốc để so sánh các kỹ thuật khác. Khi kết quả zero-shot chưa đủ chính xác, người dùng sẽ thêm ví dụ hoặc chỉnh lại cách diễn đạt, và điều đó dẫn họ tới prompt engineering nâng cao hơn. Tuy vậy, với nhiều tác vụ hằng ngày, một prompt zero-shot được viết tốt là đủ.
Điểm khác biệt chính nằm ở số lượng ví dụ được cung cấp. Học zero-shot không đưa cho mô hình ví dụ nào cho tác vụ mới. One-shot learning đưa một ví dụ duy nhất, còn few-shot learning đưa vài ví dụ. Mỗi ví dụ thêm vào là một minh họa giúp định hướng mô hình theo đúng định dạng và hành vi mong muốn.
Đây là sự đánh đổi giữa tính linh hoạt và độ chính xác. Zero-shot là cách nhanh nhất và rẻ nhất, không cần dữ liệu có nhãn hay thiết lập phức tạp, nhưng few-shot có thể chính xác và thích nghi tốt hơn khi tác vụ khác đáng kể so với những gì mô hình thấy trong tiền huấn luyện. Các ví dụ thêm vào tốn một chút công sức và không gian prompt nhưng thường cải thiện độ tin cậy, đó là lý do người dùng chuyển sang few-shot khi zero-shot không đạt yêu cầu.
Lợi ích nổi bật nhất là hiệu quả. Học zero-shot loại bỏ công việc tốn kém khi phải thu thập tập dữ liệu có nhãn và huấn luyện lại mô hình cho từng danh mục mới, giúp giảm công sức thủ công và tăng khả năng mở rộng. Một mô hình đủ mạnh có thể được tái sử dụng cho nhiều tác vụ mà không cần phát triển thêm, giúp các nhóm làm việc nhanh hơn.
Nó cũng phát huy tác dụng khi dữ liệu khan hiếm hoặc mới xuất hiện. Vì không phụ thuộc vào ví dụ trước đó của một lớp cụ thể, học zero-shot có thể xử lý những tình huống mới, như phân loại một chủ đề hoàn toàn mới, phản ứng với tin tức nóng hổi, hay xử lý một danh mục vừa hình thành tháng trước. Khả năng thích nghi với yêu cầu thay đổi nhanh chóng là một lý do lớn khiến các mô hình nền tảng có vẻ đa năng, dựa trên nền tảng huấn luyện rộng của mô hình nền tảng.
Học zero-shot hỗ trợ nhiều ứng dụng. Trong xử lý ngôn ngữ, nó đảm nhận phân tích cảm xúc trên văn bản chưa gán nhãn, phân loại vào các danh mục mới, và dịch giữa các cặp ngôn ngữ mà mô hình không được tinh chỉnh riêng, chẳng hạn xử lý tài liệu tiếng Tây Ban Nha sau khi mô hình được huấn luyện chủ yếu bằng tiếng Anh. Trong thị giác máy tính, nó hỗ trợ các tác vụ như nhận diện tình trạng bệnh trên ảnh y tế dựa trên mô tả bằng văn bản thay vì ví dụ có nhãn.
Trong doanh nghiệp, nó xuất hiện trong đánh giá rủi ro hợp đồng, gắn nhãn tuân thủ trong tài liệu chịu quy định, phát hiện lỗi sản phẩm bằng hình ảnh trong sản xuất, và phân loại tài sản trong tài chính. Điểm chung là áp dụng một mô hình tổng quát cho một tác vụ cụ thể, thường là mới, mà không tốn chi phí xây dựng một tập huấn luyện riêng. Chính sự linh hoạt này là điều mà việc tiền huấn luyện học máy rộng cho phép.
Học zero-shot là cơ chế đứng sau việc các AI diễn giải và xử lý nội dung mà chúng chưa từng được huấn luyện cụ thể. Khi một trợ lý đọc trang của bạn để quyết định nó có trả lời truy vấn hay không, phân loại chủ đề hay tóm tắt để đưa vào câu trả lời, nó đang thực hiện suy luận zero-shot. Điều đó có nghĩa là nội dung của bạn được đánh giá bởi một mô hình dựa vào hiểu biết chung, chứ không dựa vào ví dụ về trang cụ thể của bạn.
Hệ quả thực tế là sự rõ ràng sẽ thắng. Vì mô hình không có ví dụ riêng cho tác vụ để dựa vào, nội dung nói rõ ý nghĩa và dùng ngôn ngữ không mơ hồ sẽ dễ được phân loại và trích dẫn đúng hơn. Viết sao cho mô hình nắm được ý chính chỉ sau một lần đọc, mà không cần ngữ cảnh nó không có, sẽ tăng cơ hội nội dung được hiểu đúng và xuất hiện chính xác, bổ sung cho công việc chiến lược nội dung AI và việc nghiên cứu từ khóa và lên kế hoạch nội dung bài bản.
Học zero-shot mạnh nhưng chưa hoàn hảo. Nó gặp khó khăn khi thích nghi miền dữ liệu nếu dữ liệu mới khác đáng kể so với dữ liệu huấn luyện, và có thể bị sai lệch, gán nhầm một danh mục mới thành một danh mục quen thuộc khi các lớp đã thấy và chưa thấy bị trộn lẫn. Một vấn đề đã biết gọi là hiện tượng hubness gây ra sự tụ cụm trong không gian embedding, khiến mô hình quá phụ thuộc vào một vài nhãn khi dự đoán các danh mục chưa thấy. Kết quả cũng phụ thuộc mạnh vào chất lượng dữ liệu tiền huấn luyện.
Quan trọng nhất, zero-shot yếu nhất đúng ở chỗ độ chính xác quan trọng nhất, chẳng hạn chẩn đoán bệnh hiếm hay phân tích tài chính phức tạp. Trong những trường hợp rủi ro cao đó, cung cấp ví dụ qua few-shot learning, hoặc tinh chỉnh trên dữ liệu thực, sẽ cho kết quả đáng tin cậy hơn. Cách làm hợp lý là dùng zero-shot để có tốc độ và độ rộng, rồi bổ sung ví dụ hoặc tinh chỉnh khi độ chính xác là yếu tố then chốt.
Học zero-shot cho phép một mô hình xử lý các tác vụ và danh mục mà nó chưa thấy trong huấn luyện, bằng cách liên hệ chúng với kiến thức chung, và với mô hình ngôn ngữ nó xuất hiện dưới dạng prompt không có ví dụ. Nó hiệu quả, dễ mở rộng và thích nghi với tình huống mới, đó là lý do nó là nền tảng của phần lớn cách các trợ lý AI hoạt động, bao gồm cách chúng diễn giải và tóm tắt nội dung của bạn. Những giới hạn của nó, gồm độ chính xác thấp hơn và nhạy cảm với miền dữ liệu, là lý do few-shot và tinh chỉnh vẫn quan trọng.
Để tìm hiểu sâu hơn, hãy kết nối chủ đề này với few-shot learning và prompt engineering, rồi dùng công cụ nghiên cứu và lên kế hoạch nội dung của Sorank để viết nội dung mà các mô hình AI có thể hiểu rõ. Nguồn tham khảo: Grammarly và AI21.
Nguồn
Học zero-shot yêu cầu một mô hình thực hiện tác vụ mà không có ví dụ nào, chỉ dựa vào kiến thức chung học được trong quá trình tiền huấn luyện. Few-shot learning cung cấp một vài ví dụ có nhãn để hướng mô hình tới định dạng và hành vi mong muốn. Zero-shot nhanh hơn và rẻ hơn, còn few-shot thường chính xác hơn với những tác vụ khác đáng kể so với dữ liệu huấn luyện của mô hình.
Trong quá trình tiền huấn luyện, một mô hình ngôn ngữ nội hóa mối quan hệ giữa các khái niệm qua lượng văn bản khổng lồ, tổ chức kiến thức theo ý nghĩa ngữ nghĩa. Khi bạn đưa ra một chỉ dẫn rõ ràng mà không có ví dụ, gọi là prompt zero-shot, mô hình kết nối yêu cầu lạ của bạn với kiến thức sẵn có và tạo ra câu trả lời. Đó là lý do bạn có thể yêu cầu một mô hình phân loại hoặc tóm tắt văn bản mà nó chưa từng được huấn luyện rõ ràng.
Vì các AI dùng suy luận zero-shot để diễn giải nội dung mà chúng chưa từng được huấn luyện riêng. Khi một trợ lý đánh giá trang của bạn có trả lời một truy vấn, phân loại chủ đề hay tóm tắt nó, nó dựa vào hiểu biết chung chứ không dựa vào ví dụ về trang của bạn. Nội dung nói rõ ý nghĩa một cách minh bạch và không mơ hồ sẽ dễ được mô hình phân loại và trích dẫn chính xác hơn, từ đó cải thiện khả năng hiển thị của bạn.
HỌ ĐÃ THỬ SORANK TRƯỚC BẠN
