टेस्ट टाइम कंप्यूट AI मॉडलों को इन्फ़रेंस के दौरान तर्क करने में ज़्यादा प्रोसेसिंग शक्ति लगाने देता है, जिससे कठिन समस्याओं पर सटीकता बढ़ती है। जानें यह कैसे काम करता है।

इस पेज पर
टेस्ट टाइम कंप्यूट वह प्रोसेसिंग शक्ति और समय है जो AI मॉडल तब लगाता है जब वह कोई उत्तर तैयार करता है, न कि जब उसे प्रशिक्षित किया जा रहा हो। सरल शब्दों में, यह वह मेहनत है जो मॉडल के वास्तव में इस्तेमाल होने के समय लगती है। एक ही बार में जवाब देने के बजाय, ज़्यादा टेस्ट टाइम कंप्यूट वाला मॉडल बीच के विचार बना सकता है, कई संभावित उत्तरों को खंगाल सकता है, और अंतिम उत्तर देने से पहले उनका मूल्यांकन कर सकता है।
इस विचार ने AI की सीमा को नए सिरे से गढ़ा है। जब बड़े-से-बड़े प्रशिक्षण रन से मिलने वाले लाभ धीमे पड़ने लगे, तो लैब्स को एक नया लीवर मिला: इन्फ़रेंस के समय मॉडल को और गहराई से सोचने दिया जाए। ChatGPT, Gemini और Claude जैसे टूलों के पीछे के रीज़निंग मॉडल अब उन समस्याओं को हल करने के लिए टेस्ट टाइम कंप्यूट पर निर्भर हैं जिन्हें पहले की एक-पास वाली प्रणालियाँ हल नहीं कर पाती थीं। इसलिए आधुनिक AI की क्षमताओं और उनके खोज पर असर को समझने के लिए यह एक मूल अवधारणा है।
टेस्ट टाइम कंप्यूट इन्फ़रेंस के दौरान आवंटित संसाधनों को कहता है, यानी वह चरण जिसमें प्रशिक्षित मॉडल नए इनपुट का उत्तर देता है। एक पारंपरिक मॉडल हर क्वेरी पर लगभग एक जैसी गणना लगाता है, चाहे सवाल कितना भी कठिन हो। टेस्ट टाइम कंप्यूट को बढ़ाने वाला मॉडल इसके बजाय कठिन सवाल पर ज़्यादा प्रोसेसिंग और आसान सवाल पर कम लगा सकता है, यानी अपनी मेहनत को समस्या के हिसाब से ढाल सकता है।
एक आम उपमा मनोविज्ञान से ली जाती है: सिस्टम 1 सोच तेज़ और सहज होती है, जबकि सिस्टम 2 सोच धीमी और सोच-समझकर होती है। सामान्य मॉडल उत्तर सिस्टम 1 जैसे होते हैं, जो तुरंत जवाब देते हैं। टेस्ट टाइम कंप्यूट सिस्टम 2 मोड संभव बनाता है, जिसमें मॉडल जवाब देने से पहले चरण दर चरण तर्क करता है। यही सोच-समझकर चलने वाली प्रक्रिया आधुनिक रीज़निंग मॉडलों की नींव है।
इसकी बुनियादी व्यवस्था विचार की शृंखला (chain of thought) है, जिसमें मॉडल सीधे उत्तर पर कूदने के बजाय बीच के तर्क के चरण बनाता है। अपना काम लिखते हुए मॉडल ऐसी समस्याएँ सुलझा सकता है जिनमें कई तार्किक कदम चाहिए, और रास्ते में अपनी गलतियाँ भी पकड़ सकता है। यह सीधे विचार की शृंखला वाली प्रॉम्प्टिंग और प्रशिक्षण से जुड़ता है।
इस पर कई तकनीकें बनी हैं। सेल्फ़-कंसिस्टेंसी कई तर्क मार्गों का नमूना लेती है और सबसे आम उत्तर चुनती है। Best-of-N सैंपलिंग कई उम्मीदवार उत्तर बनाती है और किसी मापदंड से सर्वोत्तम चुनती है। बीम सर्च या Monte Carlo ट्री सर्च जैसे खोज तरीके संभावनाओं के पेड़ को खंगालते हैं, जबकि प्रोसेस रिवॉर्ड मॉडल खोज का मार्गदर्शन करने के लिए बीच के चरणों को अंक देते हैं। हर तरीका सही उत्तर की संभावना बढ़ाने के लिए ज़्यादा गणना खर्च करता है, और यह प्रक्रिया AI इन्फ़रेंस के दौरान होती है।
सालों तक प्रगति प्रशिक्षण स्केलिंग नियमों के पीछे चली: ज़्यादा डेटा पर प्रशिक्षित बड़े मॉडल बेहतर पूर्वानुमान देते थे। अब उन लाभों का असर कम हो रहा है, जिसने इस क्षेत्र को एक दूसरी धुरी की ओर धकेला। नए टेस्ट टाइम स्केलिंग नियम बताते हैं कि किसी दिए गए कार्य पर बेहतर निर्णयों के बदले इन्फ़रेंस के समय ज़्यादा कंप्यूट कैसे लगाया जाए।
OpenAI का o1 वह सफ़लता थी जिसने इसे ठोस बना दिया। इसे रीइन्फ़ोर्समेंट लर्निंग से विचार की शृंखला के ज़रिए तर्क करने के लिए प्रशिक्षित किया गया था, और इसका प्रदर्शन ज़्यादा प्रशिक्षण कंप्यूट और इन्फ़रेंस के समय ज़्यादा सोचने, दोनों से बेहतर होता है। जैसा एक शोधकर्ता ने कहा, मूल स्केलिंग नियमों ने सिखाया कि प्रशिक्षण कंप्यूट को बेहतर पूर्वानुमानों के लिए बदला जाए, जबकि ये नए नियम सिखाते हैं कि इन्फ़रेंस कंप्यूट को बेहतर निर्णयों के लिए बदला जाए। यह दिखाता है कि रीइन्फ़ोर्समेंट लर्निंग और इन्फ़रेंस अब एक साथ कैसे काम करते हैं।
रीज़निंग बेंचमार्क पर प्रदर्शन में लाभ नाटकीय हैं। AIME 2024 गणित प्रतियोगिता में GPT-4 का स्कोर लगभग 9% था, जबकि OpenAI o1-mini 63.6% तक पहुँचा, DeepSeek R1 लगभग 80% पर, और OpenAI o3 लगभग 96.7% पर। Codeforces प्रतिस्पर्धी प्रोग्रामिंग बेंचमार्क में GPT-4 लगभग 24वें पर्सेंटाइल के आसपास था, जबकि o1 लगभग 96वें तक चढ़ गया, यानी मानव विशेषज्ञ के स्तर के करीब।
DeepSeek के खुले काम ने दूसरे कोण से वही पैटर्न दिखाया: उसके रीज़निंग मॉडल ने AIME सटीकता को 15.6% से 71% तक बढ़ाया, और नमूनों पर बहुमत मतदान के साथ 86.7% तक। साफ़ सबक यह है कि सिर्फ़ मॉडल को बड़ा करने के बजाय तर्क पर ज़्यादा कंप्यूट लगाने से वे समस्याएँ खुलती हैं जो पहले पहुँच से बाहर थीं। ये प्रगति व्यापक AI बेंचमार्क में सीधे जुड़ती है।
रीज़निंग मॉडल AI खोज के काम करने का तरीका बदलते हैं। जब कोई असिस्टेंट टेस्ट टाइम कंप्यूट इस्तेमाल करता है, तो वह क्वेरी को छोटे हिस्सों में बाँट सकता है, कई खोजों की योजना बना सकता है, और उत्तर देने से पहले स्रोतों को एक साथ जोड़ सकता है। यही गहरी रिसर्च और एजेंटिक खोज का इंजन है। इसका मतलब है कि आपके कंटेंट का मूल्यांकन ऐसी प्रणाली करती है जो सावधानी से तर्क करती है, न कि ऐसी जो पहला मिला मैच उठा ले।
जेनरेटिव इंजन ऑप्टिमाइज़ेशन के लिए इसका मतलब है कि गहराई और स्पष्टता को इनाम मिलता है। जो मॉडल उप-प्रश्नों पर तर्क करता है, वह ऐसे कंटेंट को पसंद करेगा जो उन उप-प्रश्नों का सचमुच जवाब देता हो और इस तरह संरचित हो कि हर बिंदु आसानी से निकाला जा सके। स्पष्ट, अच्छी तरह समर्थित दावों के साथ LLM के लिए तैयार कंटेंट बनाना रीज़निंग मॉडलों को भरोसेमंद सामग्री देता है, इसीलिए टेस्ट टाइम कंप्यूट को किसी भी आधुनिक AI कंटेंट रणनीति की जानकारी देनी चाहिए। अनुशासित कीवर्ड रिसर्च और कंटेंट प्लानिंग आपको उन उप-प्रश्नों का नक्शा बनाने में मदद करती है जिन पर ये मॉडल काम करते हैं।
ज़्यादा गहराई से सोचना मुफ़्त नहीं है। जटिल क्वेरी जो विस्तारित तर्क चालू करती हैं, उनमें 5 से 10 सेकंड या उससे ज़्यादा लग सकते हैं, जबकि सीधे उत्तर में 1 से 3 सेकंड लगते हैं। हर अतिरिक्त तर्क टोकन गणना खर्च करता है, जिससे लागत और ऊर्जा का उपयोग बढ़ता है। चूँकि सोचने की मात्रा क्वेरी के हिसाब से बदलती है, प्रति-क्वेरी लागत का अनुमान लगाना कठिन हो जाता है।
गुणवत्ता के जाल भी हैं। मॉडल ज़रूरत से ज़्यादा सोच सकते हैं, यानी बिना किसी निष्कर्ष पर पहुँचे विचारों के बीच कूदते रह सकते हैं, या किसी सचमुच कठिन समस्या पर पर्याप्त गणना नहीं लगा सकते। कुछ क्वेरी पूर्वानुमेयता (determinism) खो देती हैं, क्योंकि एक ही इनपुट को अलग-अलग रनों में अलग मात्रा का तर्क मिल सकता है। इन समझौतों को संभालना अब रीज़निंग मॉडल जिम्मेदारी से लागू करने का हिस्सा है, और यह AI इन्फ़रेंस की कीमत और ट्यूनिंग को आकार देता है।
व्यवहार में टीमें स्तरीय तरीका अपनाती हैं: ज़्यादातर सरल क्वेरी तेज़ और सस्ते मॉडलों को भेजी जाती हैं, मध्यम कार्य मध्य-स्तर के मॉडलों को, और सबसे कठिन समस्याओं के छोटे हिस्से के लिए रीज़निंग-प्रथम मॉडल रखे जाते हैं। इससे गणना समस्या की कठिनाई से मेल खाती है और लागत नियंत्रित रहती है, फिर भी कठिन मामले खुलते हैं। हाइब्रिड मॉडल, जो त्वरित मोड और विस्तारित सोच मोड दोनों देते हैं, इस रूटिंग को आसान बनाते हैं।
अगली सीमा टेस्ट-टाइम ट्रेनिंग है, जिसमें मॉडल केवल तय वेटों पर निर्भर रहने के बजाय टेस्ट चरण के दौरान भी खुद को ढालता रहता है। रिट्रीवल के साथ मिलकर, जहाँ रीज़निंग मॉडल विचार के बीच बाहरी जानकारी लाने के लिए रुकता है, ये दिशाएँ ऐसी प्रणालियों की ओर इशारा करती हैं जो गतिशील रूप से तर्क करें और सीखें। मार्केटर के लिए सबक स्थिर है: आपके कंटेंट का आकलन करने वाली प्रणालियाँ ज़्यादा सोच-समझकर काम करने लगी हैं, और यह सार वाले कंटेंट के पक्ष में जाता है।
टेस्ट टाइम कंप्यूट वह प्रोसेसिंग है जो AI मॉडल इन्फ़रेंस के समय तर्क करने में खर्च करता है, और प्रशिक्षण से मिलने वाले लाभ धीमे होने पर यह प्रगति की एक मुख्य धुरी बन गया है। विचार की शृंखला, सैंपलिंग और खोज के ज़रिए मॉडल अतिरिक्त सोच के बदले गणित, तर्क और कोडिंग में कहीं बेहतर उत्तर देते हैं, जैसा GPT-4 से o1 और o3 तक के बेंचमार्क की छलांग दिखाती है। इसकी कीमत है अधिक विलंब, खर्च और परिवर्तनशीलता, जिसे गणना को कार्य की कठिनाई से मिलाकर सबसे अच्छी तरह संभाला जाता है।
दृश्यता के लिए, सोच-समझकर तर्क करने वाले मॉडल वास्तविक गहराई और साफ़ संरचना वाले कंटेंट को इनाम देते हैं। मज़बूत LLM के लिए तैयार कंटेंट को स्पष्ट AI कंटेंट रणनीति के साथ जोड़ें, और Sorank के रिसर्च और कंटेंट प्लानिंग टूल से उन सवालों को निशाना बनाएं जिन पर ये मॉडल तर्क करते हैं। संदर्भ स्रोत: Hugging Face और Emerge Haus।
स्रोत
टेस्ट टाइम कंप्यूट वह प्रोसेसिंग शक्ति और समय है जो AI मॉडल आपके सवाल का उत्तर देते समय लगाता है, न कि प्रशिक्षण के दौरान। जब किसी मॉडल के पास ज़्यादा टेस्ट टाइम कंप्यूट होता है, तो वह किसी समस्या पर चरण दर चरण सोच सकता है, कई तरीके आज़मा सकता है, और उत्तर देने से पहले अपने काम की जाँच कर सकता है। यही उन रीज़निंग मॉडलों को शक्ति देता है जो तुरंत जवाब देने के बजाय रुककर सोचते हैं।
प्रशिक्षण कंप्यूट एक बार, पहले से खर्च होता है, ताकि डेटा से मॉडल सीखे और ज्ञान उसके वेटों में बैठ जाए। टेस्ट टाइम कंप्यूट हर बार खर्च होता है जब मॉडल किसी खास इनपुट पर तर्क करने के लिए चलता है। दोनों अलग तरह से स्केल होते हैं: प्रशिक्षण स्केलिंग बेस मॉडल को बेहतर बनाती है, जबकि टेस्ट टाइम स्केलिंग इन्फ़रेंस पर ज़्यादा सोच के बदले कठिन कार्यों पर बेहतर उत्तर देती है।
नहीं। सबसे बड़े लाभ जटिल समस्याओं पर होते हैं जिनमें बहु-चरणीय तर्क चाहिए, जैसे गणित, तर्क और कोडिंग। सरल तथ्यात्मक सवालों पर लाभ बहुत कम या नहीं होता, और वे बस धीमे और महंगे हो जाते हैं। मॉडल ज़रूरत से ज़्यादा भी सोच सकते हैं, बिना निष्कर्ष पर पहुँचे विचारों के बीच कूदते हुए, इसलिए लक्ष्य यह है कि गणना की मात्रा को कार्य की कठिनाई से मेल खिलाया जाए।
आपसे पहले लोगों ने Sorank आज़माया है
