ChatGPT कैसे काम करता है? ट्रेनिंग से वेब सर्च और उद्धरणों तक

संक्षेप में: ChatGPT एक बड़े भाषा मॉडल (large language model) पर बना असिस्टेंट है, एक न्यूरल नेटवर्क जो ट्रांसफ़ॉर्मर किस्म का है और बहुत बड़ी मात्रा में टेक्स्ट पर ट्रेन होकर वाक्य का अगला हिस्सा अनुमान लगाना सीखता है। इसके बाद इसे मानवीय फ़ीडबैक से फ़ाइन-ट्यून किया गया ताकि यह निर्देश माने और मददगार जवाब दे। जब आप संदेश भेजते हैं, तो यह टेक्स्ट को टोकन में बांटता है, उसे कॉन्टेक्स्ट विंडो में बातचीत के साथ पढ़ता है और एक बार में एक टोकन करके अपना जवाब लिखता है। हाल की या तथ्यात्मक सवालों के लिए यह वेब भी खोज सकता है और जिन पेजों का इस्तेमाल किया उनका हवाला दे सकता है।

ChatGPT कैसे काम करता है, यह जानने से उसकी ताकत और उसकी गलतियां दोनों समझ आती हैं, और यह भी पता चलता है कि कोई वेबसाइट उसके जवाबों में उद्धृत होने की ज़्यादा संभावना कैसे रखती है। OpenAI ने ChatGPT नवंबर 2022 में लॉन्च किया; इसका नाम GPT से आता है, यानी Generative Pre-trained Transformer।

ChatGPT के पीछे कौन सा मॉडल है?

ChatGPT एक large language model (LLM) पर चलता है। LLM एक सांख्यिकीय मॉडल है जिसमें अरबों पैरामीटर होते हैं और जिसने टेक्स्ट से शब्दों, तथ्यों और शैलियों के बीच के संबंध सीखे हैं। यह उन टेक्स्ट से सीखे पैटर्न रखता है और उनसे किसी भी टेक्स्ट का विश्वसनीय आगे का हिस्सा बनाता है; अलग-अलग पेज उसी रूप में नहीं रखे जाते।

इसका ढांचा ट्रांसफ़ॉर्मर है, जिसे Google के शोधकर्ताओं ने 2017 में पेपर Attention Is All You Need में पेश किया था। इसकी मुख्य तकनीक, अटेंशन, मॉडल को इनपुट के हर शब्द को हर दूसरे शब्द से तौलने देती है, ताकि वह समझ सके कि किसी वाक्य में “it” तीन पंक्तियां पहले वाली किसी संज्ञा की ओर इशारा करता है।

ChatGPT को कैसे ट्रेन किया गया?

1. प्री-ट्रेनिंग

मॉडल टेक्स्ट का एक बहुत बड़ा संग्रह पढ़ता है (सार्वजनिक वेब पेज, किताबें, कोड, लाइसेंस वाला डेटा) और एक ही काम सीखता है: अगला टोकन अनुमान लगाना। यह सरल काम अरबों बार दोहराया जाता है, और इससे मॉडल व्याकरण, तथ्य, तर्क के पैटर्न और कई भाषाएं सीखता है। नतीजा एक शक्तिशाली टेक्स्ट अनुमानक है, जो अभी निर्देश अच्छी तरह नहीं मानता।

2. सुपरवाइज़्ड फ़ाइन-ट्यूनिंग

लोग प्रॉम्प्ट के अच्छे जवाबों के उदाहरण लिखते हैं, और मॉडल को उनकी नकल करना सिखाया जाता है। वह मददगार असिस्टेंट का ढांचा सीखता है: सवाल का जवाब देना, जवाब को व्यवस्थित करना, और ज़रूरत हो तो स्पष्टीकरण मांगना।

3. मानवीय फ़ीडबैक से रीइन्फ़ोर्समेंट लर्निंग

समीक्षक एक ही प्रॉम्प्ट के कई जवाबों की तुलना करते हैं और उन्हें क्रम में रखते हैं। एक रिवॉर्ड मॉडल उन पसंदों को सीखता है, और फिर भाषा मॉडल को ऐसे जवाब बनाने के लिए अनुकूलित किया जाता है जिन्हें ऊंचे अंक मिलें। OpenAI ने इस तरीके का वर्णन, जिसे RLHF कहते हैं, अपने InstructGPT शोध पत्र में किया। इसी से ChatGPT विनम्र, व्यवस्थित रहता है और हानिकारक अनुरोधों को मना करने में ज़्यादा सावधान होता है।

जब आप संदेश भेजते हैं तो क्या होता है?

टोकन और कॉन्टेक्स्ट विंडो

टोकन टेक्स्ट का एक टुकड़ा है: अंग्रेज़ी में एक टोकन औसतन लगभग चार अक्षर, या तीन चौथाई शब्द के बराबर होता है। कॉन्टेक्स्ट विंडो वह संख्या है जितने टोकन मॉडल एक साथ ध्यान में रख सकता है, जिसमें आपकी बातचीत और वे दस्तावेज़ या वेब पेज शामिल हैं जो वह पढ़ता है। जब बातचीत बहुत लंबी हो जाती है, तो सबसे पुराने हिस्से नज़र से बाहर हो जाते हैं।

शब्द-दर-शब्द जनरेशन

हर चरण पर मॉडल अगले संभावित हर टोकन की संभावना निकालता है और नियंत्रित मात्रा की अनिश्चितता के साथ एक चुनता है। इसीलिए एक ही सवाल पर थोड़े अलग जवाब आ सकते हैं, और ChatGPT गलत होने पर भी धाराप्रवाह लिखता है: वह सबसे संभावित आगे के हिस्से के लिए अनुकूलित होता है, बिना किसी स्रोत से तथ्य जांचे।

ChatGPT वेब कैसे खोजता है और स्रोत कैसे उद्धृत करता है?

एक मॉडल सिर्फ वही जानता है जो उसके ट्रेनिंग डेटा में था, एक कट-ऑफ़ तारीख तक। हाल की घटनाओं, कीमतों या उत्पादों के बारे में जवाब देने के लिए ChatGPT वेब सर्च चला सकता है। OpenAI ने यह सुविधा अक्टूबर 2024 में ChatGPT search नाम से घोषित की। असिस्टेंट आपके सवाल को एक या कई क्वेरी में बदलता है, सर्च प्रदाताओं और OpenAI के अपने क्रॉलर से नतीजे लाता है, पेज पढ़ता है, और अपने स्रोतों के लिंक के साथ जवाब लिखता है।

इस तरीके को retrieval-augmented generation (RAG) कहते हैं: मॉडल ऐसे टेक्स्ट बनाता है जो अभी-अभी रिट्रीव किए गए दस्तावेज़ों पर आधारित हों। OpenAI अपने डेवलपर प्लेटफ़ॉर्म पर अपने क्रॉलर का दस्तावेज़ देता है: सर्च के लिए OAI-SearchBot, ट्रेनिंग के लिए GPTBot, और उपयोगकर्ता की ओर से खोले गए पेज के लिए ChatGPT-User। OpenAI कहता है कि जो साइटें robots.txt में OAI-SearchBot को ब्लॉक करती हैं, वे ChatGPT सर्च के जवाबों में नहीं दिखतीं।

ChatGPT की सीमाएं क्या हैं?

• हैलुसिनेशन: यह झूठे तथ्य, गढ़े हुए उद्धरण या मौजूद न होने वाले स्रोत आत्मविश्वास से बता सकता है, क्योंकि यह विश्वसनीय लगने वाला टेक्स्ट अनुमान लगाता है।
• ज्ञान की कट-ऑफ़ तारीख: वेब सर्च के बिना यह अपने ट्रेनिंग डेटा के बाद की हर चीज़ को नज़रअंदाज़ करता है।
• कॉन्टेक्स्ट की सीमाएं: बहुत लंबे दस्तावेज़ या बातचीत उस सीमा से बड़े होते हैं जो यह एक साथ ध्यान में रख सकता है।
• शब्दों के प्रति संवेदनशीलता: प्रॉम्प्ट में थोड़ा सा बदलाव अलग जवाब दे सकता है, या सुझाए गए ब्रांड की अलग सूची।
• स्रोत का चयन: सर्च करते समय यह सिर्फ कुछ ही पेज पढ़ता है, इसलिए उनमें होना मायने रखता है।

ChatGPT द्वारा उद्धृत होने के लिए इसका क्या मतलब है?

इस पाइपलाइन को समझने से किसी भी ब्रांड के लिए एक साफ़ चेकलिस्ट बनती है जो ChatGPT के जवाबों में दिखना चाहता है:

1. क्रॉलर को पहुंच दें: robots.txt में OAI-SearchBot की अनुमति दें, और कंटेंट ऐसे HTML में दें जो भारी JavaScript के बिना काम करे।
2. क्लासिक सर्च में रैंक करें: ChatGPT सर्च सर्च नतीजों से शुरू होता है, इसलिए जो पेज बुनियादी क्वेरी पर अच्छी रैंकिंग रखते हैं, उनके पढ़े जाने की संभावना ज़्यादा है।
3. निकाले जाने लायक पैसेज लिखें: हर हेडिंग के नीचे सीधा जवाब, छोटे स्वतंत्र पैराग्राफ, परिभाषाएं, टेबल और स्रोत वाले आंकड़े।
4. वहां मौजूद रहें जहां वह पढ़ता है: रिव्यू, तुलना लेख, फ़ोरम, मीडिया और Wikipedia यह आकार देते हैं कि मॉडल आपके ब्रांड के बारे में क्या कहता है, ट्रेनिंग डेटा में भी और लाइव सर्च में भी।
5. एकरूप रहें: आपकी साइट और बाहरी प्रोफ़ाइल पर एक ही नाम, विवरण और तथ्य मॉडल को आपके ब्रांड को एक इकाई के रूप में पहचानने में मदद करते हैं।
6. मापें: वे सवाल पूछें जो आपके ग्राहक पूछते हैं और देखें कि आपका उद्धरण होता है या नहीं। मुफ़्त ChatGPT विज़िबिलिटी चेकर एक मिनट में पहला जवाब देता है।

ChatGPT अपने सीखे हुए आधार से और नए सवालों के लिए उन कुछ वेब पेजों से टेक्स्ट का अनुमान लगाता है जिन्हें वह पढ़ने के लिए चुनता है: जिन ब्रांड का वह हवाला देता है, उनके पेज ढूंढने में आसान, निकालने में आसान और दूसरे स्रोतों से पुष्ट होते हैं। ChatGPT, Gemini और Claude में समय के साथ अपनी उपस्थिति देखने और उद्धृत होने के लिए बना कंटेंट प्रकाशित करने के लिए, Sorank आपके प्रॉम्प्ट ट्रैक करता है और ऑप्टिमाइज़्ड लेख autopilot पर लिखता है, 3 दिन के मुफ़्त ट्रायल के साथ।