Konuyu Açan
#1
Bir PDF’ten yanıt üreten RAG düzeneklerinde kaynakça görmek insana güven veriyor; ama gösterilen sayfanın yanıtı gerçekten destekleyip desteklemediği ayrı bir mesele. Ben denemelerimde yalnızca “cevap doğru mu?” diye bakmanın, sistemin nerede hata yaptığını anlamaya yetmediğini fark ettim.
Bence küçük bir değerlendirme setinde şu üç şeyi ayrı ayrı incelemek faydalı:
Karşılaştırmayı daha anlamlı kılmak için aynı soruları, aynı belgelerle farklı parçalama ve geri getirme ayarlarında denemek; sonuçları da “doğru yanıt”, “destekleyen kaynak” ve “gerektiğinde çekimser kalma” başlıklarında not etmek mümkün. Böylece sorun modelde mi, arama aşamasında mı daha görünür oluyor.
Siz RAG çıktılarında kaynakların gerçekten kanıt sunduğunu nasıl kontrol ediyorsunuz; kullandığınız pratik bir değerlendirme yöntemi var mı?
Bence küçük bir değerlendirme setinde şu üç şeyi ayrı ayrı incelemek faydalı:
- Kaynak doğru mu? İlgili bilgi gerçekten alıntılanan bölümde mi, yoksa model doğru cevaba başka bir yoldan mı ulaştı?
- Kanıt yeterli mi? Yanıtın önemli iddialarının her biri kaynakta karşılık buluyor mu? Özellikle birden fazla koşul içeren sorularda tek bir alıntı yetersiz kalabiliyor.
- Bilmiyorum diyebiliyor mu? Belgede yanıt yokken modelin tahmin yürütmesi yerine bunu belirtmesi, kaynaklı ama temelsiz bir cevap vermesinden daha değerli olabilir.
Karşılaştırmayı daha anlamlı kılmak için aynı soruları, aynı belgelerle farklı parçalama ve geri getirme ayarlarında denemek; sonuçları da “doğru yanıt”, “destekleyen kaynak” ve “gerektiğinde çekimser kalma” başlıklarında not etmek mümkün. Böylece sorun modelde mi, arama aşamasında mı daha görünür oluyor.
Siz RAG çıktılarında kaynakların gerçekten kanıt sunduğunu nasıl kontrol ediyorsunuz; kullandığınız pratik bir değerlendirme yöntemi var mı?