Nghiên cứu trích dẫn AI: GitHub có được AI trích dẫn không?

GitHub là nguồn gốc chính theo đúng nghĩa: các trang của nó do chính những người xây dựng phần mềm viết. README giải thích dự án làm gì, trang phát hành cho biết mỗi phiên bản thay đổi gì, còn danh sách lỗi cho thấy lỗi nào đã biết và đã được sửa hay chưa. Mô hình AI xem các trang này như bằng chứng khi mô tả một công cụ.

Bốn loại trang GitHub thường xuất hiện trong câu trả lời:

• Trang chủ kho mã, mà README đóng vai trò mô tả chính thức của một dự án mã nguồn mở.
• Bản phát hành và nhật ký thay đổi, dùng cho những câu hỏi như "phiên bản mới nhất là gì" hoặc "tính năng này được thêm vào khi nào".
• Vấn đề và thảo luận, được trích khi ai đó hỏi về một lỗi, một giới hạn hoặc một cách xử lý tạm thời.
• Cảnh báo bảo mật từ GitHub Advisory Database, nơi ghi nhận các lỗ hổng đã biết trong các gói mã nguồn mở.

Hồ sơ tổ chức cũng quan trọng. Một công ty giữ bộ SDK, plugin hoặc tích hợp trong một tổ chức GitHub công khai sẽ cho mô hình AI một dấu vết có thể kiểm chứng rằng sản phẩm của họ tồn tại và đang được duy trì.

Các lượt trích dẫn tập trung quanh những ý định mang tính kỹ thuật. Các câu hỏi điển hình gồm "giải pháp thay thế Jira mã nguồn mở", "cách cài đặt Stripe CLI", "gói npm này còn được duy trì không", "trình quản lý mật khẩu tự lưu trữ tốt nhất" hoặc "cách vá lỗ hổng Log4j". Trong mỗi trường hợp, kho mã là bằng chứng trực tiếp nhất mà trợ lý có thể đưa ra.

Các câu hỏi về doanh nghiệp đời thường hiếm khi dẫn đến GitHub. Không ai cần một kho mã để tìm "thợ sửa ống nước đáng tin ở Lyon" hay "công ty kế toán tốt nhất cho một startup". Vì vậy, các lượt trích dẫn GitHub tập trung vào câu hỏi về nhà phát hành phần mềm, nhà cung cấp an ninh mạng và công ty dịch vụ CNTT, và vẫn chiếm tỷ trọng nhỏ ở các ngành khác.

Ngôn ngữ cũng có vai trò. Tài liệu trên GitHub phần lớn được viết bằng tiếng Anh, nên các câu trả lời bằng tiếng Anh tiếp cận nó tự nhiên hơn nhiều so với câu trả lời bằng tiếng Pháp, tiếng Đức hay tiếng Tây Ban Nha, vốn thường trích dẫn các hướng dẫn đã dịch hoặc báo chí địa phương.

Phần lớn khoảng cách đến từ cách mỗi mô hình truy xuất thông tin. Gemini dựa nhiều câu trả lời vào Google Search, nơi các kho mã xếp hạng tốt với tên dự án, nên một liên kết GitHub có thể đi kèm câu trả lời. ChatGPT kết hợp những gì đã học trong quá trình huấn luyện với kết quả trực tiếp từ ChatGPT search, và chủ yếu đính kèm liên kết kho mã khi câu hỏi nêu đích danh một dự án cụ thể.

Perplexity tìm kiếm trên web cho mọi câu hỏi và liệt kê nguồn của mình, tuy nhiên với các câu hỏi so sánh, nó thường dựa vào bài đánh giá và trang của nhà cung cấp hơn là kho mã gốc. Grok bổ sung các bài đăng từ X, nơi lập trình viên thông báo bản phát hành và thảo luận về lỗi. Claude mặc định trích nguồn ít hơn và thường mô tả dự án bằng lời của chính nó, trừ khi bật tìm kiếm web.

Một phần ảnh hưởng của GitHub không hiện trong số liệu trích dẫn. Mã nguồn và tài liệu công khai được lưu trên GitHub đưa vào dữ liệu huấn luyện của nhiều mô hình lớn, nên một trợ lý có thể giải thích cách một thư viện hoạt động mà không nêu tên trang nó đã học từ đó.

Ở đây, một lượt trích dẫn nghĩa là câu trả lời đã dẫn một trang trên github.com làm nguồn: một kho mã, một vấn đề, một cảnh báo hoặc tài liệu GitHub. Lời khuyên kiểu "hãy lưu mã nguồn trên GitHub" mà không có liên kết là một lời giới thiệu dịch vụ, một tín hiệu khác mà tỷ lệ này không ghi nhận.

Các trang web xây bằng GitHub Pages nằm trên github.io hoặc trên tên miền riêng, nên tốt nhất nên xem chúng như những trang web độc lập. Với một thương hiệu, trường hợp có giá trị là một trong các kho mã của chính họ xuất hiện trong câu trả lời về lĩnh vực của mình: một tài liệu kỹ thuật mà trợ lý có thể đối chiếu, điều mà các trang tiếp thị hiếm khi đạt được.