Konuyu Açan
#1
Yerel bir modelle kendi belgeleriniz üzerinde soru-cevap kurarken ilk refleks genelde bağlam penceresini büyütmek oluyor. Bende daha çok fark yaratan şey ise modele daha fazla metin yığmak değil, aramadan gelen parçaların gerçekten soruyla ilgili olmasını sağlamak.
Örneğin bir klasördeki teknik dokümanlar için aynı soruları üç şekilde denemek faydalı: yalnızca en alakalı birkaç parça, daha fazla ama geniş kapsamlı parça ve başlıklarıyla birlikte getirilen parçalar. Küçük ya da Q4 gibi kuantize bir modelde alakasız metin arttıkça cevap bazen daha dolambaçlı oluyor; ayrıca iki benzer bölümdeki bilgileri birbirine karıştırabiliyor. Başlık ve kaynak adı eklemek, hangi bilginin nereden geldiğini izlemeyi kolaylaştırıyor.
Ben olsam değerlendirmeyi de tek bir “iyi cevap verdi” hissine bırakmazdım. Gerçek kullanımınızdan 10–20 soru seçip doğru cevabın kaynakta bulunup bulunmadığını, modelin kaynak dışı iddia ekleyip eklemediğini ve yanıt süresini not ederdim. Böylece parça boyutu, getirilen parça sayısı ve model ayarlarını ayrı ayrı kıyaslamak mümkün.
Siz yerel RAG kurulumunuzda en çok hangi noktada zorlanıyorsunuz: parçalama, arama kalitesi, yoksa modelin bulduğu metni doğru yorumlaması mı?
Örneğin bir klasördeki teknik dokümanlar için aynı soruları üç şekilde denemek faydalı: yalnızca en alakalı birkaç parça, daha fazla ama geniş kapsamlı parça ve başlıklarıyla birlikte getirilen parçalar. Küçük ya da Q4 gibi kuantize bir modelde alakasız metin arttıkça cevap bazen daha dolambaçlı oluyor; ayrıca iki benzer bölümdeki bilgileri birbirine karıştırabiliyor. Başlık ve kaynak adı eklemek, hangi bilginin nereden geldiğini izlemeyi kolaylaştırıyor.
Ben olsam değerlendirmeyi de tek bir “iyi cevap verdi” hissine bırakmazdım. Gerçek kullanımınızdan 10–20 soru seçip doğru cevabın kaynakta bulunup bulunmadığını, modelin kaynak dışı iddia ekleyip eklemediğini ve yanıt süresini not ederdim. Böylece parça boyutu, getirilen parça sayısı ve model ayarlarını ayrı ayrı kıyaslamak mümkün.
Siz yerel RAG kurulumunuzda en çok hangi noktada zorlanıyorsunuz: parçalama, arama kalitesi, yoksa modelin bulduğu metni doğru yorumlaması mı?