Common Crawl: Đó là gì, các mô hình AI dùng nó ra sao và có nên chặn CCBot không?

Common Crawl hiếm khi xuất hiện trong các cuộc thảo luận về SEO, nhưng đây là một trong những cách chính để nội dung web công khai đến được với các mô hình ngôn ngữ. Với thương hiệu làm GEO (được các trợ lý AI trích dẫn và mô tả đúng), hiểu cách nó hoạt động giúp quyết định nên cho phép gì, chặn gì và vì sao thông tin nhất quán trên web mở lại quan trọng. Nguồn: commoncrawl.org.

Common Crawl là gì?

Common Crawl là tổ chức phi lợi nhuận được công nhận theo mục 501(c)(3) của luật thuế Hoa Kỳ, thu thập dữ liệu web từ năm 2007 và công bố dữ liệu này miễn phí. Theo trang web của tổ chức, kho dữ liệu có hơn 300 tỷ trang trải qua 15 năm, tăng thêm từ 3 đến 5 tỷ trang mỗi tháng và đã được trích dẫn trong hơn 10.000 bài nghiên cứu. Mỗi lần thu thập được công bố dưới dạng dữ liệu trang thô, siêu dữ liệu và văn bản đã trích xuất, ai cũng có thể tải về.

Các mô hình AI sử dụng Common Crawl như thế nào?

Các mô hình ngôn ngữ lớn học từ lượng văn bản khổng lồ, và Common Crawl là một trong những nguồn công khai lớn nhất. Bài báo về GPT-3, Language Models are Few-Shot Learners (2020), mô tả một phiên bản đã lọc của Common Crawl là thành phần lớn nhất trong dữ liệu huấn luyện, với tỷ trọng 60% trong tổng thể. Nhiều mô hình sau này và bộ dữ liệu mở cũng bắt nguồn từ Common Crawl, thường sau khi được lọc kỹ về chất lượng và nội dung trùng lặp. Xem thêm các mục trong bảng thuật ngữ của chúng tôi về LLM và dữ liệu huấn luyện AI.

CCBot là gì?

CCBot là trình thu thập dữ liệu của Common Crawl. Theo trang CCBot của Common Crawl, nó tự nhận diện bằng user agent CCBot/2.0, chạy từ các dải IP đã công bố kèm reverse DNS để bạn kiểm chứng được yêu cầu chính hãng, và có thể bị dừng bằng robots.txt:

• User-agent: CCBot
• Disallow: /

Hướng dẫn của chúng tôi về robots.txt và các trình thu thập AI đề cập CCBot cùng GPTBot, ClaudeBot, PerplexityBot và Google-Extended, còn mục thuật ngữ về trình thu thập AI liệt kê chúng. Công cụ kiểm tra robots.txt miễn phí cho bạn thấy tệp của bạn cho phép những gì.

Nên cho phép hay chặn Common Crawl?

Đa số doanh nghiệp có nội dung là tiếp thị, tài liệu hoặc giáo dục được hưởng lợi khi có mặt trong kho dữ liệu web mở. Các nhà xuất bản có doanh thu phụ thuộc vào nội dung độc quyền thường chặn nó. Việc chặn chỉ áp dụng cho các lần thu thập sau này; nó không xóa trang khỏi các kho lưu trữ cũ hay khỏi những mô hình đã được huấn luyện.

Common Crawl có ý nghĩa gì với GEO

• Nhất quán: những gì web mở nói về thương hiệu của bạn (website, hồ sơ, đánh giá, bài viết) đều góp phần vào những gì mô hình học được. Hãy giữ thông tin nhất quán ở mọi nơi (xem tính nhất quán của thương hiệu).
• Rõ ràng: các trang rõ ràng, thực tế dễ trích xuất và tái sử dụng hơn những trang giấu nội dung sau các đoạn script.
• Hiện diện trên trang của bên thứ ba: việc được nhắc đến trong bài báo và thư mục sẽ nhân lên dấu ấn của bạn trong kho dữ liệu.
• Kiên nhẫn: dữ liệu huấn luyện đến được với mô hình sau vài tháng kể từ lần thu thập; truy xuất trực tiếp thì nhanh hơn.

Kết luận

Common Crawl là kho lưu trữ mở mà nhiều mô hình AI học từ đó; cho phép CCBot với nội dung tiếp thị công khai giúp thương hiệu của bạn có mặt trong "trí nhớ" ấy. Hãy kết hợp với nội dung mà tìm kiếm AI trực tiếp có thể truy xuất và trích dẫn (xem GEO so với SEO và LLM SEO). Sorank là phần mềm SEO và GEO vận hành theo autopilot, đăng nội dung rõ ràng có nguồn dẫn và theo dõi cách ChatGPT, Claude và Gemini nhắc đến thương hiệu của bạn qua Theo dõi đề cập AI; xem các gói của Sorank, có bản dùng thử miễn phí 3 ngày.