Test time compute, yapay zeka modellerinin çıkarım sırasında daha fazla işlem gücünü akıl yürütmeye harcamasını sağlar ve zor problemlerde doğruluğu artırır. Nasıl çalıştığını öğrenin.

Özet
Test time compute, bir yapay zeka modelinin eğitimden sonra, çıkarım (inference) sırasında akıl yürütmeye harcadığı hesaplama gücüdür. Model böylece zor problemleri adım adım düşünerek çözer ve daha doğru yanıtlar üretir, karşılığında ek süre ve maliyet ortaya çıkar.
Daha fazlasını mı istiyorsunuz? Sorun:
Test time compute, bir yapay zeka modelinin eğitilirken değil, yanıt üretirken kullandığı işlem gücü ve zamandır. Basitçe söylemek gerekirse, modelin fiilen kullanıldığı anda harcanan emektir. Tek geçişte yanıt vermek yerine, daha fazla test time compute'a sahip bir model ara düşünceler üretebilir, birden fazla aday yanıtı keşfedebilir ve nihai yanıta karar vermeden önce bunları değerlendirebilir.
Bu fikir yapay zekanın sınırlarını yeniden şekillendirdi. Giderek büyüyen eğitim çalışmalarından elde edilen kazançlar yavaşlamaya başlayınca, araştırma laboratuvarları yeni bir kaldıraç buldu: modelin çıkarım sırasında daha derin düşünmesine izin vermek. ChatGPT, Gemini ve Claude gibi araçların arkasındaki akıl yürütme modelleri, tek geçişli önceki sistemlerin çözemediği problemleri çözmek için artık test time compute'a dayanıyor. Bu da kavramı, modern yapay zeka yeteneklerini ve bunların aramayı nasıl etkilediğini anlamak için temel bir konu haline getiriyor.
Test time compute, eğitilmiş bir modelin yeni girdileri yanıtladığı aşama olan çıkarım sırasında ayrılan kaynakları ifade eder. Geleneksel bir model, zorluğuna bakmaksızın her sorgu için kabaca aynı hesaplama gücünü kullanır. Test time compute'u ölçekleyebilen bir model ise zor bir soruya daha fazla, kolay bir soruya daha az işlem ayırabilir ve çabasını probleme göre ayarlayabilir.
Sık kullanılan bir benzetme psikolojiden gelir: Sistem 1 düşüncesi hızlı ve sezgiseldir, Sistem 2 düşüncesi ise yavaş ve bilinçlidir. Standart model yanıtları Sistem 1'e benzer ve anında bir cevap üretir. Test time compute ise modelin yanıt vermeden önce adım adım akıl yürüttüğü bir Sistem 2 modunu mümkün kılar. Modern akıl yürütme modellerinin temelinde bu bilinçli süreç yatar.
Temel mekanizma düşünce zinciridir (chain of thought). Model doğrudan yanıta atlamak yerine ara akıl yürütme adımları üretir. Çalışmasını yazıya dökerek birkaç mantıksal adım gerektiren problemlerin üstesinden gelebilir ve yol boyunca kendi hatalarını yakalayabilir. Bu, düşünce zinciri istemlerine ve eğitimine doğrudan bağlanır.
Bunun üzerine birkaç teknik inşa edilir. Öz tutarlılık (self-consistency) birden fazla akıl yürütme yolunu örnekler ve en yaygın yanıtı seçer. Best-of-N örnekleme birçok aday yanıt üretir ve belirli bir ölçüte göre en iyisini seçer. Işın araması (beam search) veya Monte Carlo ağaç araması gibi arama yöntemleri olasılıklar ağacını keşfederken, süreç ödül modelleri aramayı yönlendirmek için ara adımları puanlar. Her yöntem, doğru yanıt olasılığını artırmak için daha fazla hesaplama harcar ve bu süreç yapay zeka çıkarımı sırasında gerçekleşir.
Yıllarca ilerleme, eğitim ölçekleme yasalarını izledi: daha fazla veriyle eğitilmiş daha büyük modeller daha iyi tahminler üretti. Bu kazançlar yatay seyretmeye başlayınca alan ikinci bir eksene yöneldi. Yeni test time ölçekleme yasaları, belirli bir görevde daha iyi kararlar için çıkarım sırasındaki hesaplamanın nasıl takas edileceğini anlatır.
OpenAI'ın o1 modeli bunu somutlaştıran atılım oldu. Düşünce zinciriyle akıl yürütmesi için pekiştirmeli öğrenmeyle eğitildi ve performansı hem daha fazla eğitim hesaplamasıyla hem de çıkarım sırasında düşünmeye ayrılan daha fazla zamanla artıyor. Bir araştırmacının ifadesiyle, özgün ölçekleme yasaları bize eğitim hesaplamasını daha iyi tahminlerle takas etmeyi öğretti, bu yeni yasalar ise çıkarım hesaplamasını daha iyi kararlarla takas etmeyi öğretiyor. Bu durum, pekiştirmeli öğrenme ile çıkarımın artık nasıl birlikte çalıştığını da yansıtıyor.
Akıl yürütme kıyaslamalarındaki performans kazançları çarpıcı. AIME 2024 matematik yarışmasında GPT-4 kabaca yüzde 9 puan aldı, OpenAI o1-mini yüzde 63,6'ya, DeepSeek R1 yaklaşık yüzde 80'e, OpenAI o3 ise yaklaşık yüzde 96,7'ye ulaştı. Codeforces yarışmalı programlama kıyaslamasında GPT-4 yirmi dördüncü yüzdelik dilim civarındayken o1 yaklaşık doksan altıncıya, yani insan uzman düzeyine yakın bir noktaya tırmandı.
DeepSeek'in açık çalışması aynı örüntüyü başka bir açıdan gösterdi: akıl yürütme modeli AIME doğruluğunu yüzde 15,6'dan yüzde 71'e, örnekler arasında çoğunluk oylamasıyla ise yüzde 86,7'ye çıkardı. Net ders şu: yalnızca modeli büyütmek değil, akıl yürütmeye daha fazla hesaplama ayırmak, daha önce ulaşılamaz olan problemlerin kilidini açıyor. Bu gelişmeler doğrudan daha geniş kapsamlı yapay zeka kıyaslamalarını besliyor.
Akıl yürütme modelleri yapay zeka aramasının işleyişini değiştiriyor. Bir asistan test time compute kullandığında sorguyu parçalara ayırabilir, birkaç aramayı planlayabilir ve yanıt vermeden önce kaynakları sentezleyebilir. Derin araştırma ve ajan tabanlı aramanın arkasındaki motor budur. Yani içeriğiniz, ilk eşleşmeyi alıp geçen bir sistem tarafından değil, dikkatle akıl yürüten bir sistem tarafından değerlendirilir.
Üretken motor optimizasyonu (GEO) açısından bu, derinliği ve netliği ödüllendirir. Alt soruları adım adım düşünen bir model, bu alt soruları gerçekten yanıtlayan ve her noktanın kolayca çıkarılabileceği biçimde yapılandırılmış içerikleri tercih eder. Net ve iyi desteklenmiş iddialar içeren LLM'e hazır içerik üretmek, akıl yürütme modellerine alıntılayabilecekleri güvenilir bir malzeme sağlar. Test time compute'un her modern yapay zeka içerik stratejisine yön vermesi gerekmesinin nedeni budur. Disiplinli anahtar kelime araştırması ve içerik planlaması, bu modellerin üzerinden geçtiği alt soruları haritalamanıza yardımcı olur.
Daha derin düşünmek bedava değildir. Uzun akıl yürütmeyi tetikleyen karmaşık sorgular, doğrudan bir yanıt için gereken bir ila üç saniyeye kıyasla beş ila on saniye veya daha uzun sürebilir ve her ek akıl yürütme token'ı hesaplama tüketerek maliyeti ve enerji kullanımını artırır. Düşünme miktarı sorguya göre değiştiği için sorgu başına maliyeti öngörmek zorlaşır.
Kalite açısından da tuzaklar vardır. Modeller fazla düşünüp bir sonuca varmadan fikirler arasında sıçrayabilir veya gerçekten zor bir probleme yeterli hesaplama ayırmayabilir. Aynı girdi farklı çalıştırmalarda farklı miktarda akıl yürütme alabileceği için bazı sorgularda belirlenimcilik kaybolur. Bu ödünleşimleri yönetmek artık akıl yürütme modellerini sorumlu biçimde devreye almanın bir parçasıdır ve yapay zeka çıkarımının nasıl fiyatlandırıldığını ve ayarlandığını şekillendirir.
Uygulamada ekipler kademeli bir yaklaşım kullanır: basit sorguların büyük bölümünü hızlı ve ucuz modellere yönlendirir, orta düzey görevleri orta kademe modellere gönderir ve akıl yürütme öncelikli modelleri en zor problemlerin küçük payına ayırır. Bu, hesaplamayı zorluğa uydurur, maliyeti kontrol eder ve yine de zor vakaların kilidini açar. Hem hızlı bir mod hem de uzatılmış düşünme modu sunan hibrit modeller bu yönlendirmeyi kolaylaştırır.
Bir sonraki sınır, modelin yalnızca sabit ağırlıklara güvenmek yerine test aşamasında uyum sağlamaya devam ettiği test-time training yöntemidir. Akıl yürüten bir modelin düşünürken durup dış bilgi getirdiği erişim (retrieval) ile birleştiğinde bu yönler, dinamik biçimde akıl yürüten ve öğrenen sistemlere işaret ediyor. Pazarlamacılar için çıkarım sabit: içeriğinizi değerlendiren sistemler giderek daha bilinçli hale geliyor ve bu da özü olan içeriğe avantaj sağlıyor.
Test time compute, bir yapay zeka modelinin çıkarım sırasında akıl yürütmeye harcadığı işlemdir ve eğitim kazançları yavaşlarken ilerlemenin başlıca ekseni haline gelmiştir. Düşünce zinciri, örnekleme ve arama sayesinde modeller, fazladan düşünmeyi matematik, mantık ve kodlamada belirgin biçimde daha iyi yanıtlarla takas eder. GPT-4'ten o1 ve o3'e uzanan kıyaslama sıçramaları bunu gösteriyor. Bedeli daha yüksek gecikme, harcama ve değişkenliktir ve en iyi, hesaplamayı görevin zorluğuyla eşleştirerek yönetilir.
Görünürlük açısından, bilinçli akıl yürüten modeller gerçek derinliğe ve temiz yapıya sahip içerikleri ödüllendirir. Güçlü LLM'e hazır içeriği net bir yapay zeka içerik stratejisiyle eşleştirin ve bu modellerin üzerinde akıl yürüttüğü sorulara odaklanmak için Sorank'ın araştırma ve içerik planlama araçlarını kullanın. Başvuru kaynakları: Hugging Face ve Emerge Haus.
Kaynaklar
Test time compute, bir yapay zeka modelinin eğitim sırasında değil, sorunuzu yanıtlarken kullandığı işlem gücü ve zamandır. Bir model daha fazla test time compute'a sahip olduğunda problemi adım adım düşünebilir, birkaç yaklaşımı deneyebilir ve yanıt vermeden önce kendi çalışmasını kontrol edebilir. Anında yanıt vermek yerine durup tartan akıl yürütme modellerini güçlendiren şey budur.
Eğitim hesaplaması, modele verilerden öğretmek ve bilgiyi ağırlıklarına yerleştirmek için önceden, bir kez harcanır. Test time compute ise belirli bir girdi üzerinde akıl yürütmek için model her çalıştığında harcanır. İkisi farklı ölçeklenir: eğitim ölçeklemesi temel modeli iyileştirirken, test time ölçekleme zor görevlerde daha iyi yanıtlar için çıkarım sırasındaki ekstra düşünmeyi takas eder.
Hayır. Kazançlar en çok matematik, mantık ve kodlama gibi çok adımlı akıl yürütme gerektiren karmaşık problemlerde görülür. Basit olgusal sorulara fayda çok az sağlanır veya hiç sağlanmaz, yalnızca daha yavaş ve daha pahalı hale gelirler. Modeller ayrıca fazla düşünüp bir sonuca varmadan fikirler arasında sıçrayabilir, bu yüzden amaç hesaplama miktarını görevin zorluğuyla eşleştirmektir.
SORANK'I SİZDEN ÖNCE DENEDİLER
