Nghiên cứu trích dẫn AI: Stack Overflow có được AI trích dẫn không?

Stack Overflow là một kho lưu trữ công khai được xây dựng theo một định dạng: một câu hỏi kỹ thuật chính xác, vài câu trả lời, lượt bình chọn và thường có một giải pháp được chấp nhận. Mỗi chủ đề ghép một vấn đề với một cách sửa đã được các lập trình viên khác kiểm chứng, đúng loại tư liệu mà mô hình ngôn ngữ học rất tốt.

Ba đặc điểm khiến trang hữu ích như một nguồn:

• Thông báo lỗi được trích nguyên văn, khớp với những gì người dùng dán vào chatbot.
• Đoạn mã kèm giải thích và chú thích chỉ ra các trường hợp biên.
• Tín hiệu từ cộng đồng (lượt bình chọn, câu trả lời được chấp nhận, lần chỉnh sửa) cho thấy giải pháp nào thực sự hiệu quả.

Đóng góp được xuất bản theo giấy phép Creative Commons, yêu cầu ghi nguồn. Năm 2024, Stack Overflow công bố thỏa thuận với Google và OpenAI về việc sử dụng nội dung của trang trong các sản phẩm AI của họ, có ghi công cho các chủ đề gốc.

Trích dẫn xuất hiện khi câu hỏi hẹp và mang tính kỹ thuật: "TypeError: cannot read properties of undefined in React", "how to undo the last git commit", "Python list comprehension with two conditions", "why does my SQL join return duplicates". Khi trợ lý tìm kiếm trên web, một chủ đề Stack Overflow thường nằm trong nhóm kết quả gần nhất.

Câu hỏi về công ty, sản phẩm hay dịch vụ gần như không bao giờ dẫn tới đó. "Nên chọn CRM nào cho một công ty nhỏ" hay "web host này có đáng tin không" không có câu trả lời trên Stack Overflow, vì quy tắc của trang đóng các yêu cầu gợi ý công cụ hoặc sản phẩm.

Các câu hỏi đằng sau bộ dữ liệu này chủ yếu liên quan đến doanh nghiệp và thị trường của họ, nên Stack Overflow hiếm khi được trích dẫn ở đây. Điều đó phản ánh loại câu hỏi nhiều hơn là uy tín của trang.

Phần lớn giá trị của Stack Overflow đã đến với các mô hình AI qua quá trình huấn luyện. Mạng lưới Stack Exchange đã nhiều năm công bố bản sao nội dung công khai của mình, và các mô hình đã tiếp thu cách sửa phổ biến đến mức chúng viết lại từ trí nhớ. Một câu trả lời được tạo từ trí nhớ không có liên kết nào để hiển thị.

Thói quen truy xuất thông tin định hình phần còn lại. Perplexity tìm kiếm cho mọi câu hỏi và hiển thị nguồn của mình, nên một chủ đề có thể xuất hiện khi truy vấn gỡ lỗi khớp rất sát với nó. Gemini, dựa trên Google Search, và ChatGPT khi bật tìm kiếm chủ yếu chỉ đưa các chủ đề ra khi gặp lỗi hiếm hoặc mới. Grok có thể thêm bài đăng của lập trình viên từ X, trong khi Claude thường tự viết cách sửa và chỉ dẫn tới một chủ đề khi nó dùng tìm kiếm web.

Mối quan hệ này cũng đã thay đổi chính trang. Số câu hỏi mới giảm rõ rệt kể từ khi các trợ lý hội thoại trở nên phổ biến, vì nhiều lập trình viên giờ hỏi chatbot trước. Kho lưu trữ vẫn còn, nhưng các framework và phiên bản mới ít được phủ bởi những chủ đề mới hơn.

Tỷ lệ trích dẫn thấp không khiến Stack Overflow trở nên vô nghĩa. Với một công cụ dành cho lập trình viên, một API hay một sản phẩm kỹ thuật, các chủ đề của trang vẫn định hình cách mô hình mô tả và xử lý sự cố của sản phẩm đó, ngay cả khi không hiển thị liên kết nào.

Dữ liệu có hai giới hạn. Chỉ stackoverflow.com được tính, trong khi các trang anh em của mạng Stack Exchange như Super User hay Server Fault có tên miền riêng. Và với một doanh nghiệp không có đối tượng kỹ thuật, trang này đơn giản nằm ngoài nhóm nguồn trả lời các câu hỏi của khách hàng.