ChatGPT Nasıl Çalışır? Eğitimden Web Aramasına ve Alıntılara

ChatGPT'nin nasıl çalıştığını bilmek hem güçlü yanlarını hem hatalarını açıklar ve bir web sitesinin yanıtlarında alıntılanma ihtimalini neyin artırdığını söyler. OpenAI, ChatGPT'yi Kasım 2022'de başlattı; adı GPT'den, yani Generative Pre-trained Transformer'dan gelir.

ChatGPT'nin arkasındaki model nedir?

ChatGPT bir büyük dil modeli (LLM) üzerinde çalışır. LLM, metinden sözcükler, olgular ve üslupler arasındaki ilişkileri öğrenmiş, milyarlarca parametreli istatistiksel bir modeldir. Bu metinlerden öğrenilen kalıpları tutar ve bunları herhangi bir metnin makul devamlarını üretmek için kullanır; tek tek sayfalar olduğu gibi saklanmaz.

Mimari, 2017'de Google araştırmacıları tarafından Attention Is All You Need makalesinde tanıtılan transformer'dır. Temel mekanizması olan dikkat (attention), modelin girdideki her sözcüğü diğer her sözcükle tartmasını sağlar; böylece bir cümledeki “o”nun üç satır önceki bir isme gönderme yaptığını anlar.

ChatGPT nasıl eğitildi?

1. Ön eğitim

Model çok büyük bir metin külliyatını (herkese açık web sayfaları, kitaplar, kod, lisanslı veriler) okur ve tek bir görevi öğrenir: bir sonraki token'ı tahmin etmek. Milyarlarca kez tekrarlanan bu basit görev, onu dilbilgisini, olguları, akıl yürütme kalıplarını ve birçok dili öğrenmeye zorlar. Sonuç, henüz talimatları iyi izlemeyen güçlü bir metin tahmincisidir.

2. Denetimli ince ayar

İnsanlar istemlere iyi yanıt örnekleri yazar ve model bunları taklit edecek şekilde eğitilir. Faydalı bir asistanın biçimini öğrenir: soruyu yanıtla, yanıtı yapılandır, gerektiğinde açıklama iste.

3. İnsan geri bildiriminden pekiştirmeli öğrenme

Değerlendiriciler aynı isteme verilen birkaç yanıtı karşılaştırır ve sıralar. Bir ödül modeli bu tercihleri öğrenir ve dil modeli daha sonra iyi puan alan yanıtlar üretecek şekilde optimize edilir. OpenAI RLHF adı verilen bu yöntemi InstructGPT araştırma makalesinde anlattı. ChatGPT'yi kibar, yapılandırılmış ve zararlı istekleri reddetme konusunda daha dikkatli yapan budur.

Bir mesaj gönderdiğinizde ne olur?

Token'lar ve bağlam penceresi

Token, bir metin parçasıdır: İngilizcede bir token ortalama yaklaşık dört karakter ya da bir sözcüğün dörtte üçüdür. Bağlam penceresi, modelin aynı anda göz önünde bulundurabileceği token sayısıdır; konuşmanız ve okuduğu belgeler veya web sayfaları da buna dahildir. Bir konuşma çok uzadığında, en eski bölümler görüşten çıkar.

Sözcük sözcük üretim

Model her adımda olası her bir sonraki token için bir olasılık hesaplar ve kontrollü bir rastgelelik payıyla birini seçer. Aynı soru bu yüzden biraz farklı yanıtlar alabilir ve ChatGPT yanılırken bile bu yüzden akıcı yazar: olguları bir kaynakla karşılaştırmadan, olası bir devam için optimize eder.

ChatGPT web'de nasıl arama yapar ve kaynakları nasıl alıntılar?

Bir model yalnızca bir kesim tarihine kadarki eğitim verilerinde olanı bilir. Güncel olaylar, fiyatlar veya ürünler hakkında yanıt vermek için ChatGPT bir web araması yapabilir. OpenAI bu özelliği Ekim 2024'te ChatGPT search olarak duyurdu. Asistan sorunuzu bir veya birkaç sorguya dönüştürür, sonuçları arama sağlayıcılarından ve OpenAI'ın kendi tarayıcısından alır, sayfaları okur ve kaynaklarına bağlantılar içeren bir yanıt yazar.

Bu yönteme getirme destekli üretim (RAG) denir: model, az önce getirdiği belgelere dayanan metin üretir. OpenAI tarayıcılarını geliştirici platformunda belgeler: arama için OAI-SearchBot, eğitim için GPTBot ve bir kullanıcı adına açılan sayfalar için ChatGPT-User. OpenAI, robots.txt'de OAI-SearchBot'u engelleyen sitelerin ChatGPT search yanıtlarında gösterilmediğini belirtir.

ChatGPT'nin sınırları nelerdir?

• Halüsinasyonlar: makul metin tahmin ettiği için güvenle yanlış olgular, uydurma alıntılar veya var olmayan kaynaklar belirtebilir.
• Bilgi kesim tarihi: web araması olmadan, eğitim verilerinden sonraki her şeyi bilmez.
• Bağlam sınırları: çok uzun belgeler veya konuşmalar aynı anda göz önünde bulundurabileceğinin ötesine geçer.
• İfadeye duyarlılık: biraz farklı bir istem farklı bir yanıt ya da önerilen markaların farklı bir listesini üretebilir.
• Kaynak seçimi: arama yaptığında yalnızca bir avuç sayfa okur; bu yüzden onların arasında olmak önemlidir.

Bu, ChatGPT tarafından alıntılanmak için ne anlama geliyor?

Süreci anlamak, ChatGPT yanıtlarında görünmek isteyen her marka için net bir kontrol listesi verir:

1. Tarayıcıları içeri alın: robots.txt'de OAI-SearchBot'a izin verin ve içeriği ağır JavaScript olmadan çalışan HTML ile sunun.
2. Klasik aramada üst sıralara çıkın: ChatGPT search arama sonuçlarından yola çıkar, bu yüzden altta yatan sorgularda iyi sıralanan sayfaların okunma ihtimali daha yüksektir.
3. Çıkarılabilir pasajlar yazın: her başlığın altında doğrudan bir yanıt, kısa ve kendi içinde tamamlanmış paragraflar, tanımlar, tablolar ve kaynaklı rakamlar.
4. Okuduğu yerlerde var olun: yorumlar, karşılaştırma makaleleri, forumlar, medya ve Wikipedia, modelin markanız hakkında söylediklerini, hem eğitim verilerinde hem canlı aramada şekillendirir.
5. Tutarlı kalın: sitenizde ve üçüncü taraf profillerinde aynı ad, tanım ve olgular, modelin markanızı tek bir varlık olarak tanımlamasına yardımcı olur.
6. Ölçün: müşterilerinizin sorduğu soruları sorun ve alıntılanıp alıntılanmadığınızı görün. Ücretsiz ChatGPT görünürlük denetleyicisi bir dakikada ilk yanıtı verir.

ChatGPT, öğrendiklerinden ve güncel sorular için okumayı seçtiği birkaç web sayfasından metin tahmin eder: alıntıladığı markalar, sayfaları kolay bulunan, kolay çıkarılan ve diğer kaynaklarca doğrulanan markalardır. ChatGPT, Gemini ve Claude'daki varlığınızı zaman içinde izlemek ve alıntılanmak üzere tasarlanmış içerik yayımlamak için Sorank istemlerinizi takip eder ve optimize edilmiş makaleleri autopilot olarak yazar, 3 günlük ücretsiz denemeyle.