העדפות
הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף
הפרטיות חשובה לנו, ולכן יש לך אפשרות להשבית סוגים מסוימים של אחסון שייתכן שאינם נחוצים לתפקוד הבסיסי של האתר. חסימת קטגוריות עלולה להשפיע על חווית השימוש שלך באתר. מידע נוסף
חישוב בזמן הבדיקה מאפשר למודלי AI להשקיע יותר כוח עיבוד בהיגיון במהלך ההסקה, ולשפר את הדיוק בבעיות קשות. גלו כיצד זה עובד.
.webp){kind=small}
.webp){kind=small}
חישוב בזמן הבדיקה הוא כמות כוח העיבוד והזמן שמודל AI משתמש בהם כאשר הוא מייצר תשובה, ולא כאשר הוא מאומן. במילים פשוטות, זהו המאמץ המושקע ברגע שבו המודל בפועל בשימוש. במקום להשיב בסבב יחיד, מודל עם יותר חישוב בזמן הבדיקה יכול לייצר מחשבות ביניים, לחקור מספר תשובות מועמדות, ולהעריך אותן לפני שהוא מתחייב לתשובה סופית.
הרעיון הזה עיצב מחדש את החזית של AI. ככל שהתועלת מריצות אימון גדולות והולכות החלה להאט, מעבדות מצאו מנוף חדש: לתת למודל לחשוב קשה יותר בזמן ההסקה. מודלי ההיגיון שמאחורי כלים כמו ChatGPT, Gemini ו-Claude נשענים כעת על חישוב בזמן הבדיקה כדי לפתור בעיות שהכשילו מערכות סבב-יחיד קודמות, מה שהופך אותו למושג מרכזי להבנת יכולות AI מודרניות וכיצד הן משפיעות על חיפוש.
חישוב בזמן הבדיקה מתייחס למשאבים המוקצים במהלך ההסקה, השלב שבו מודל מאומן עונה על קלטים חדשים. מודל מסורתי משתמש בכוח חישוב דומה בערך עבור כל שאילתה, ללא קשר לרמת הקושי. מודל שמגדיל את חישוב בזמן הבדיקה יכול במקום זאת להקצות יותר עיבוד לשאלה קשה ופחות לשאלה קלה, ולהתאים את מאמצו לבעיה.
אנלוגיה נפוצה שאולה מפסיכולוגיה: חשיבת System 1 מהירה ואינטואיטיבית, בעוד שחשיבת System 2 איטית ומכוונת. תגובות מודל סטנדרטיות דומות ל-System 1, ומייצרות תשובה מיידית. חישוב בזמן הבדיקה מאפשר מצב של System 2, שבו המודל מפעיל היגיון שלב אחר שלב לפני שהוא משיב. התהליך המכוון הזה הוא הבסיס למודלי היגיון מודרניים.
המנגנון הבסיסי הוא chain of thought, שבו המודל מייצר שלבי היגיון ביניים במקום לקפוץ ישירות לתשובה. על ידי כתיבת התהליך שלו, המודל יכול להתמודד עם בעיות הדורשות מספר מהלכים לוגיים, והוא יכול לתפוס את הטעויות שלו עצמו לאורך הדרך. זה מתקשר ישירות לפרומפטינג ולאימון של chain of thought.
מספר טכניקות נבנות על בסיס זה. Self-consistency דוגמת מספר מסלולי היגיון ובוחרת את התשובה הנפוצה ביותר. Best-of-N sampling מייצרת מספר רב של תשובות מועמדות ובוחרת את הטובה ביותר לפי קריטריון מסוים. שיטות חיפוש כמו beam search או Monte Carlo tree search חוקרות עץ של אפשרויות, בעוד מודלי תגמול תהליך (process reward models) מדרגים את השלבים הביניים כדי להנחות את החיפוש. כל שיטה משקיעה יותר כוח חישוב כדי לשפר את הסיכויים לתשובה נכונה, תהליך המתרחש במהלך הסקת AI.
במשך שנים, ההתקדמות עקבה אחר חוקי הרחבת האימון: מודלים גדולים יותר, מאומנים על יותר נתונים, ייצרו תחזיות טובות יותר. התועלת הזו החלה להשתטח, מה שדחף את התחום לכיוון ציר שני. חוקי הרחבת חישוב בזמן הבדיקה החדשים מתארים כיצד להמיר יותר חישוב בזמן ההסקה לתמורה של החלטות טובות יותר במשימה נתונה.
o1 של OpenAI היה הפריצה שהפכה זאת למוחשי. הוא אומן באמצעות reinforcement learning כדי להפעיל היגיון דרך chain of thought, והביצועים שלו משתפרים הן עם יותר כוח חישוב באימון והן עם יותר זמן מוקדש לחשיבה בהסקה. כפי שחוקר אחד ניסח זאת, חוקי ההרחבה המקוריים לימדו אותנו להמיר כוח חישוב באימון לתחזיות טובות יותר, בעוד שהחוקים החדשים הללו מלמדים אותנו להמיר כוח חישוב בהסקה להחלטות טובות יותר. זה משקף כיצד reinforcement learning והסקה פועלים כעת יחד.
שיפורי הביצועים ב-benchmarks של היגיון דרמטיים. בתחרות המתמטיקה AIME 2024, GPT-4 קיבל ציון של כ-9 אחוזים, בעוד ש-OpenAI o1-mini הגיע ל-63.6 אחוזים, DeepSeek R1 לכ-80 אחוזים, ו-OpenAI o3 לכ-96.7 אחוזים. ב-benchmark התכנות התחרותי Codeforces, GPT-4 ישב ליד האחוזון העשרים וארבע בעוד ש-o1 טיפס לכ-אחוזון התשעים ושש, קרוב לרמת מומחה אנושי.
העבודה הפתוחה של DeepSeek הראתה את אותה תבנית מזווית אחרת: מודל ההיגיון שלה העלה את הדיוק ב-AIME מ-15.6 אחוזים ל-71 אחוזים, ול-86.7 אחוזים עם הצבעת רוב על פני דגימות. הלקח הברור הוא שהקצאת יותר כוח חישוב להיגיון, ולא רק הגדלת המודל, פותחת בעיות שהיו בעבר מחוץ להישג יד. ההתקדמויות הללו מזינות ישירות benchmarks רחבים יותר של AI.
מודלי היגיון משנים את אופן הפעולה של חיפוש AI. כאשר עוזר משתמש בחישוב בזמן הבדיקה, הוא יכול לפרק שאילתה, לתכנן מספר חיפושים, ולסנתז מקורות לפני שהוא משיב, וזהו המנוע שמאחורי deep research וחיפוש אגנטי. המשמעות היא שהתוכן שלכם מוערך על ידי מערכת שמפעילה היגיון בקפידה, לא כזו שתופסת את ההתאמה הראשונה.
עבור אופטימיזציה למנועים גנרטיביים, זה מתגמל עומק ובהירות. מודל שמפעיל היגיון דרך שאלות משנה יעדיף תוכן שעונה באמת על שאלות המשנה הללו ובנוי כך שכל נקודה קלה לחילוץ. הפקת תוכן מוכן ל-LLM עם טענות ברורות ומגובות היטב נותנת למודלי היגיון חומר אמין לצטט, וזו הסיבה שחישוב בזמן הבדיקה צריך להנחות כל אסטרטגיית תוכן AI מודרנית. מחקר מילות מפתח ותכנון תוכן ממושמע עוזר לכם למפות את שאלות המשנה שמודלים אלה עובדים דרכן.
לחשוב קשה יותר זה לא בחינם. שאילתות מורכבות שמפעילות היגיון מורחב יכולות לקחת חמש עד עשר שניות או יותר, לעומת שנייה עד שלוש שניות לתשובה ישירה, וכל טוקן היגיון נוסף צורך כוח חישוב, מה שמעלה את העלות ואת צריכת האנרגיה. מכיוון שכמות החשיבה משתנה לפי שאילתה, עלויות לפי שאילתה הופכות קשות יותר לחיזוי.
קיימים גם מכשולי איכות. מודלים יכולים לחשוב יתר על המידה, לקפוץ בין רעיונות מבלי להתכנס, או להקצות מעט מדי כוח חישוב לבעיה קשה באמת. שאילתות מסוימות מאבדות דטרמיניזם, מכיוון שאותו קלט עשוי לקבל כמות שונה של היגיון בהרצות שונות. ניהול הפשרות הללו הוא כעת חלק מפריסה אחראית של מודלי היגיון, והוא מעצב את האופן שבו הסקת AI מתומחרת ומכוונת.
בפועל, צוותים משתמשים בגישה מדורגת: לנתב את רוב השאילתות הפשוטות למודלים מהירים וזולים, לשלוח משימות בינוניות למודלים ברמת ביניים, ולשמור מודלים מבוססי-היגיון עבור החלק הקטן של הבעיות הקשות ביותר. זה מתאים את כוח החישוב לרמת הקושי ושולט בעלות תוך עדיין לפתוח את המקרים הקשים. מודלים היברידיים, כמו אלה שמציעים גם מצב מהיר וגם מצב חשיבה מורחב, מקלים על הניתוב הזה.
החזית הבאה היא test-time training, שבו מודל ממשיך להסתגל במהלך שלב הבדיקה במקום להסתמך רק על משקלים קבועים. בשילוב עם retrieval, שבו מודל היגיון עוצר כדי לשלוף ידע חיצוני באמצע החשיבה, הכיוונים הללו מצביעים על מערכות שמפעילות היגיון ולומדות באופן דינמי. עבור משווקים, המסקנה יציבה: המערכות ששופטות את התוכן שלכם הופכות למכוונות יותר, מה שמתגמל תוכן מהותי.
חישוב בזמן הבדיקה הוא העיבוד שמודל AI משקיע בהיגיון בהסקה, והוא הפך לציר התקדמות מרכזי ככל שהתועלת מהאימון מאטה. באמצעות chain of thought, דגימה וחיפוש, מודלים ממירים חשיבה נוספת לתשובות טובות בהרבה במתמטיקה, לוגיקה וקוד, כפי שמראות קפיצות ה-benchmarks מ-GPT-4 ל-o1 ו-o3. המחיר הוא השהיה, הוצאה ושונות גבוהות יותר, שמנוהלות בצורה הטובה ביותר על ידי התאמת כוח החישוב לרמת הקושי של המשימה.
לעניין הנראות, מודלי היגיון מכוונים מתגמלים תוכן עם עומק אמיתי ומבנה נקי. שלבו תוכן מוכן ל-LLM איתן עם אסטרטגיית תוכן AI ברורה, והשתמשו בכלי המחקר ותכנון התוכן של Sorank כדי למקד את השאלות שמודלים אלה מפעילים עליהן היגיון. מקורות התייחסות: Hugging Face וEmerge Haus.
חישוב בזמן הבדיקה הוא כוח העיבוד והזמן שמודל AI משתמש בהם בזמן שהוא עונה על השאלה שלכם, ולא במהלך האימון. כשלמודל יש יותר חישוב בזמן הבדיקה, הוא יכול לחשוב על בעיה שלב אחר שלב, לנסות מספר גישות, ולבדוק את עבודתו שלו לפני שהוא משיב. זה מה שמניע מודלי היגיון שעוצרים כדי לשקול במקום להשיב באופן מיידי.
כוח חישוב האימון מושקע פעם אחת, מראש, כדי ללמד את המודל מנתונים ולהטמיע ידע במשקלים שלו. חישוב בזמן הבדיקה מושקע בכל פעם שהמודל רץ, כדי להפעיל היגיון על קלט ספציפי. השניים מתרחבים באופן שונה: הרחבת האימון משפרת את מודל הבסיס, בעוד שהרחבת זמן הבדיקה ממירה חשיבה נוספת בהסקה לתשובות טובות יותר במשימות קשות.
לא. השיפורים הגדולים ביותר הם בבעיות מורכבות שדורשות היגיון רב-שלבי, כמו מתמטיקה, לוגיקה וקוד. שאלות עובדתיות פשוטות רואות תועלת מועטה או אפסית והופכות פשוט לאיטיות ויקרות יותר. מודלים יכולים גם לחשוב יתר על המידה, לקפוץ בין רעיונות מבלי להתכנס, כך שהמטרה היא להתאים את כמות כוח החישוב לרמת הקושי של המשימה.
.svg)
.svg)
