Getirme kapsamı, bir RAG sisteminin bir yanıtın ihtiyaç duyduğu tüm ilgili bilgiyi çekip çekmediğini ölçer. Nasıl ölçüleceğini ve iyileştirileceğini öğrenin.

Özet
Getirme kapsamı, bir getirme sisteminin bir sorgunun ihtiyaç duyduğu tüm ilgili bilgiyi bulup bulmadığını ölçer; genellikle geri çağırma (recall) olarak, yani getiricinin eldeki her şey arasından başarıyla öne çıkardığı ilgili belgelerin oranı olarak nicelleştirilir.
Daha fazlasını mı istiyorsunuz? Sorun:
Getirme kapsamı, bir getirme sisteminin bir sorgu için var olan tüm ilgili bilgiyi yalnızca bir kısmını değil, ne ölçüde yakaladığıdır. Getirme destekli bir üretim hattında temel bir soruyu yanıtlar: bilgi tabanınızdaki soruyu yanıtlamaya yardımcı olabilecek tüm pasajlar arasından getirici gerçekte kaçını çekti? Kapsam, sonraki her şeyin ön koşuludur, çünkü bir model yalnızca kendisine verilen üzerinde akıl yürütebilir.
Bu önemlidir, çünkü bir yapay zeka yanıtı yalnızca arkasındaki kanıt kadar eksiksizdir. Getirme önemli bir kaynağı kaçırırsa model onu hiç görmez ve model ne kadar yetenekli olursa olsun yanıt eksik veya yanlış olur. RAG sistemleriyle çalışan ya da onlar tarafından alıntılanmaya çalışan herkes için getirme kapsamı, yanıt kalitesinin başladığı yerdir.
Getirme kapsamı, bir getiricinin bir sorgu için ilgili materyali ne kadar kapsamlı topladığını tanımlar. Hem geri çağırma hem de kesinlik için temeldir: kapsam olmadan hiçbiri başarılı olamaz, çünkü puanlanacak ilgili hiçbir şey yoktur. Getirme destekli üretim sisteminde kapsam, üreticinin doğru bir yanıt üretmek için ihtiyaç duyduğu temel bilgiye sahip olup olmadığını belirler.
Kavram sezgiseldir. Bir bilgi tabanında bir soruyla ilgili on pasaj olduğunu düşünün. Güçlü kapsama sahip bir getirici bunların çoğunu ya da hepsini öne çıkarır; zayıf kapsama sahip olan ise yalnızca iki üç tanesini döndürür ve gerisini geride bırakır. Model ardından kısmi bir görünümden yazar; doğru bilgi veritabanında dururken bile kendinden emin ama eksik yanıtların ortaya çıkma biçimi budur.
Kapsamı nicelleştirmenin birincil yolu geri çağırmadır. AutoRAG'a göre geri çağırma, getirilen ilgili belgelerin veri kümesindeki toplam ilgili belge sayısına oranıdır ve sistemin tüm ilgili belgeleri bulma yeteneğini ölçer. 0,5'lik bir geri çağırma puanı, getiricinin mevcut ilgili materyalin yalnızca yarısını yakaladığı anlamına gelir ve gerçek bir bilgi kaybına işaret eder.
Uygulamada bu, ilk k sonuçta yer alan ilgili belgelerin oranı olan k noktasında geri çağırma olarak ölçülür. Redis net bir örnek verir: on ilgili belge varsa ve ilk ondan yedisi görünüyorsa, ondaki geri çağırma 0,7 yani yüzde 70'tir. Yüksek geri çağırma, model için önemli bağlamı kaçırma olasılığınızın daha düşük olduğu anlamına gelir; kapsamın tam da konusu budur.
Kapsam ve kesinlik farklı yönlere çeker. Kesinlik, getirilen belgelerin gerçekten ilgili olanlarının oranıdır; kapsam ölçüsü olan geri çağırma ise tüm ilgili belgelerin getirmeyi başardığınız oranıdır. AutoRAG kesinliği döndürdüğünüz şeyin doğruluğu, geri çağırmayı bulduğunuz şeyin eksiksizliği olarak çerçeveler ve ikisi çoğu zaman harmonik ortalamaları olan F1 puanıyla birlikte özetlenir.
Gerilim gerçek ve pratiktir. Redis, parça boyutunun bir kesinlik ve geri çağırma ödünleşimi zorladığını belirtir: daha küçük parçalar gürültüyü azaltır ancak bilgiyi birçok sonuca parçalayabilir ve tam kapsamı zorlaştırır; daha büyük parçalar ise daha fazla bağlamı korur. Azami kapsam için zorlamak modeli marjinal pasajlarla boğabilir; bu yüzden hedef, sinyali gömmeden eksiksiz olacak kadar kapsamdır. Bu denge getirme değerlendirmesinin kalbindedir.
Düz geri çağırmanın kör bir noktası vardır. İlgililik genellikle belge belge değerlendirildiği için, iki pasaj aynı şeyi söylese bile ilgili olarak işaretlenebilir; bu yüzden yüksek geri çağırma, bir sorunun her farklı yönünün kapsandığını garanti etmez. Kapsamın bazen belgeler yerine fikirler düzeyinde ölçülmesinin nedeni budur.
Alt konu geri çağırması, ilk k getirilen belgenin kapsadığı farklı alt konuların oranını ölçerek bunu ele alır; bu, yalnızca ilgili belgeleri saymaktan daha ince bir görünümdür. Geniş bir soru için gerçek kapsam, bir yön hakkında on neredeyse aynı pasaj değil, her anlamlı yönü öne çıkarmak demektir. İçeriği ve getirmeyi güçlü bir konu kümesi oluşturur gibi farklı alt konular etrafında tasarlamak, bu daha derin kapsam biçimini iyileştirir.
Hattaki birkaç seçim kapsamı şekillendirir. Parçalama ilktir: sınırlar tutarlı bir fikri parçalara bölüyorsa getirici bir parçayı alıp gerisini kaçırabilir; bu yüzden düşünceli içerik parçalama bilginin ne kadar eksiksiz bulunabileceğini doğrudan etkiler. Gömme modeli de önemlidir, çünkü zayıf gömmeler ilgili pasajları vektör uzayında birbirinden uzağa yerleştirir ve geri çağırmayı düşürür.
Getirme yöntemi diğer büyük kaldıraçtır. Saf vektör araması tam terim eşleşmelerini kaçırabilir; bu yüzden anahtar kelime ve anlamsal aramayı birleştiren hibrit yaklaşımlar kapsamı iyileştirir. Redis, hibrit aramanın tekil yöntemlere göre yüzde 15 ila 30 geri çağırma iyileşmesi sağladığını bildiriyor. k değerini yükseltmek de kapsamı artırır, ancak gecikme ve kesinlik pahasına; bu yüzden azami yapılmamalı, ayarlanmalıdır.
Yapay zekalar yanıtlarını getirdikleri pasajlardan oluşturur; bu yüzden kapsam, içeriğinizin görülmek için geçmesi gereken kapıdır. Motorun getirme kümesi sayfanızı hiç içermiyorsa, içeriğiniz ne kadar otoriter olursa olsun alıntılanamaz, özetlenemez veya önerilemezsiniz. Motor tarafındaki güçlü kapsam, içeriğinizin toplanan kaynaklar arasında olma fırsatıdır.
Bu, optimizasyonu ilgili sorguların ve alt konuların tüm aralığı için getirilebilir olmak etrafında yeniden çerçeveler. Bir konuyu net ve kendi içinde bütün pasajlarla kapsamlı biçimde ele alan içeriğin, bir kapsam boşluğunu dolduran parça olma olasılığı daha yüksektir. Bu, uygulamadaki üretken motor optimizasyonudur ve bunu disiplinli anahtar kelime araştırması ve içerik planlamasıyla eşleştirmek, bir motorun kapsaması gereken alt konuları haritalamanıza yardımcı olur.
Sistem tarafında parçalama ve gömmelerle başlayın, ardından yalnızca vektör aramasının kaçıracağı eşleşmeleri yakalamak için hibrit getirme ekleyin. Kapsam yeterli olana kadar k değerini yukarı ayarlayın ve tek bir kullanıcı sorusunun ilgili pasajlarınızın kullanabileceği birkaç ifadeye eşlenmesi için sorgu genişletmeyi düşünün. Etiketli bir küme üzerinde k noktasında geri çağırmayı ölçmek, bu değişikliklerin gerçekten boşlukları kapatıp kapatmadığını söyler.
İçerik tarafında sayfalarınızın tam olarak kolay getirilebilmesi için yazın. Farklı alt konuları açıkça kapsayın, her pasajı odaklı ve kendi içinde bütün tutun ve önemli olguları kötü parçalanan uzun, karışık bölümlerin içine gömmekten kaçının. Yapay zeka temellendirmesini bu şekilde güçlendirmek, bir motor kanıt aradığında içeriğinizin bulunacak şekilde yapılandırıldığı anlamına gelir.
Kapsamı gerçek referans olmadan ölçmek zordur. Geri çağırma, ilgili belgelerin tam kümesini bilmeyi gerektirir; bu da etiketlemesi pahalıdır ve çoğu zaman özneldir, dolayısıyla kapsam puanları değerlendirme kümesinin kalitesine bağlıdır. Zayıf bir test kümesinde parlak bir geri çağırma sayısı, üretimdeki gerçek boşlukları gizleyebilir.
Kesinlik konusunda da bedelsiz bir kazanç yoktur. Azami kapsamın peşinden koşmak, gürültü ve maliyet ekleyen marjinal pasajları içeri çekme eğilimindedir; Redis, getirmenin ilk token gecikmesinin neredeyse yarısını oluşturabildiğini ve beş son derece ilgili pasajın çoğu zaman yirmi marjinal pasajı geçtiğini belirtir. Pratik amaç, uygulamanın ihtiyaç duyduğu kesinlik ve hızla dengelenmiş olarak her önemli alt konunun yeterli kapsamıdır.
Getirme kapsamı, bir getiricinin bir sorgunun ihtiyaç duyduğu tüm ilgili bilgiyi bulup bulmadığını ölçer; esas olarak geri çağırma ve daha ince biçimde alt konu kapsamı yoluyla nicelleştirilir. RAG kalitesinin temelidir, çünkü bir model yalnızca kendisine verilenden yanıt verebilir ve parçalama, gömmeler, getirme yöntemi ve k tarafından şekillenir.
Daha fazlası için bunu getirme değerlendirmesi ve daha geniş getirme destekli üretim mimarisiyle ilişkilendirin; motorların getirdiği alt konuları kapsamak için Sorank'ın araştırma ve içerik planlama araçlarını kullanın. Kaynaklar: Redis, Meilisearch ve AutoRAG.
Kaynaklar
Geri çağırmayla ölçülen kapsam, var olan tüm ilgili bilgiyi bulup bulmadığınızı sorar. Kesinlik ise bulduğunuz şeyin gerçekten ilgili olup olmadığını sorar. Bir sistem birkaç temiz sonuç döndürüp diğer temel pasajları kaçırıyorsa yüksek kesinliğe ama düşük kapsama sahip olabilir. İyi bir RAG, modele tam resmi vermek için yeterli kapsama ihtiyaç duyar ve model gürültüde boğulmasın diye kesinlikle dengelenir.
Standart ölçü geri çağırmadır, çoğu zaman k noktasında geri çağırma; yani ilk k içinde getirilen ilgili belge sayısının toplam ilgili belge sayısına bölünmesidir. On ilgili belge varsa ve sistem ilk ondan yedisini getiriyorsa, ondaki geri çağırma 0,7'dir. Alt konu geri çağırması bunu, getirilen kümenin kaç farklı alt konuyu kapsadığını sorarak genişletir; bu da kapsamın daha ince bir görünümüdür.
Yapay zekalar yanıtları getirdikleri parçalardan sentezler; bu yüzden içeriğiniz o getirilen kümede hiç yer almıyorsa alıntılanamaz. Motor tarafındaki güçlü kapsam, ilgili kaynakların tüm aralığını topladığı anlamına gelir ve bu, onlardan biri olma fırsatınızdır. Farklı alt konuları ele alan net, eksiksiz ve iyi yapılandırılmış içerik yazmak, getirilme şansınızı artırır.
SORANK'I SİZDEN ÖNCE DENEDİLER
