Common Crawl: מה זה, איך מודלי AI משתמשים בו והאם לחסום את CCBot

Common Crawl נדיר בדיונים על SEO, אבל הוא אחת הדרכים המרכזיות שבהן תוכן ציבורי מהרשת מגיע למודלי שפה. למותגים שעובדים על GEO (כלומר, שעוזרי AI מצטטים אותם ומתארים אותם נכון), הבנת אופן הפעולה שלו עוזרת להחליט מה לאפשר, מה לחסום ומדוע מידע עקבי ברשת הפתוחה חשוב. מקור: commoncrawl.org.

מה זה Common Crawl?

Common Crawl הוא ארגון ללא מטרת רווח הרשום בארצות הברית כ-501(c)(3). הוא סורק את הרשת מאז 2007 ומאפשר גישה חופשית לנתונים שלו. לפי האתר שלו, הקורפוס כולל יותר מ-300 מיליארד דפים לאורך 15 שנה, גדל ב-3 עד 5 מיליארד דפים בחודש, וצוטט ביותר מ-10,000 מאמרי מחקר. כל סריקה מתפרסמת כנתוני דפים גולמיים, מטא-נתונים וטקסט מחולץ, שכל אחד יכול להוריד.

איך מודלי AI משתמשים ב-Common Crawl?

מודלי שפה גדולים לומדים מכמויות עצומות של טקסט, ו-Common Crawl הוא אחד המקורות הציבוריים הגדולים ביותר. מאמר GPT-3, Language Models are Few-Shot Learners (2020), מתאר גרסה מסוננת של Common Crawl כרכיב הגדול ביותר בנתוני האימון שלו, עם משקל של 60% בתערובת. מודלים רבים ומאגרי נתונים פתוחים מאוחרים יותר נגזרים ממנו גם כן, בדרך כלל לאחר סינון כבד לאיכות ולכפילויות. ראו את ערכי המילון שלנו על LLM ונתוני אימון של AI.

מה זה CCBot?

CCBot הוא הסורק של Common Crawl. לפי דף CCBot של Common Crawl, הוא מזדהה עם user agent בשם CCBot/2.0, פועל מטווחי IP שמפורסמים עם reverse DNS כדי שתוכלו לאמת בקשות אמיתיות, וניתן לעצור אותו דרך robots.txt:

• User-agent: CCBot
• Disallow: /

המדריך שלנו על robots.txt וסורקי AI מכסה את CCBot לצד GPTBot, ClaudeBot, PerplexityBot ו-Google-Extended, וערך המילון על סורקי AI מפרט אותם. בודק robots.txt החינמי מראה מה הקובץ שלכם מאפשר.

לאפשר או לחסום את Common Crawl?

רוב העסקים שהתוכן שלהם הוא שיווק, תיעוד או חינוך מרוויחים מהימצאות בקורפוס הרשת הפתוחה. מו״לים שההכנסות שלהם תלויות בתוכן בלעדי חוסמים אותו לעתים קרובות. החסימה חלה על סריקות עתידיות; היא לא מסירה דפים מארכיונים קודמים או ממודלים שכבר אומנו.

מה Common Crawl אומר ל-GEO

• עקביות: מה שהרשת הפתוחה אומרת על המותג שלכם (האתר, הפרופילים, הביקורות, המאמרים) מזין את מה שהמודלים לומדים. שמרו על עובדות זהות בכל מקום (ראו עקביות מותג).
• בהירות: דפים ברורים ועובדתיים קלים יותר לחילוץ ולשימוש חוזר מדפים שמסתירים תוכן מאחורי סקריפטים.
• נוכחות באתרים צד שלישי: אזכורים במאמרים ובספריות מכפילים את טביעת הרגל שלכם בקורפוס.
• סבלנות: נתוני האימון מגיעים למודלים חודשים אחרי סריקה; שליפה חיה מהירה יותר.

לסיכום

Common Crawl הוא הארכיון הפתוח שממנו לומדים מודלי AI רבים; אישור CCBot על תוכן שיווקי ציבורי עוזר למותג שלכם להתקיים בזיכרון הזה. שלבו אותו עם תוכן שחיפוש AI חי יכול למצוא ולצטט (ראו GEO מול SEO וLLM SEO). Sorank היא תוכנה ל-SEO ול-GEO שפועלת במצב autopilot: היא מפרסמת תוכן ברור עם מקורות, ועם מעקב אחר אזכורי AI עוקבת אחר האופן שבו ChatGPT, Claude ו-Gemini מזכירים את המותג שלכם. ראו את התוכניות של Sorank, עם ניסיון חינם של 3 ימים.