Konuyu Açan
#1
Bir süredir kişisel PDF ve not arşivinde arama yaparken, dosyaları doğrudan uzun bir prompta eklemek yerine RAG yaklaşımını deniyorum. İlk bakışta mesele doğru modeli seçmek gibi görünüyor; ama sonuçları bozabilecek birkaç daha temel adım var gibi.
1. Belgeyi aramaya uygun hâle getirmek: Taranmış PDF’lerde OCR hataları, başlıkları ve tabloları birbirine karıştırabiliyor. Metin çıkarma aşamasında başlıkların, sayfa numaralarının ve tablo düzeninin korunup korunmadığını kontrol etmek önemli. Yoksa model, doğru parçayı bulsa bile bağlamı eksik alabiliyor.
2. Parçalara ayırma biçimi: Sabit uzunlukta parçalar uygulaması kolay, fakat bir paragrafın ortasından kesilince anlam kaybolabiliyor. Başlık ve bölüm sınırlarını dikkate almak daha iyi sonuç veriyor mu, emin değilim. Bir miktar örtüşme eklemek de yardımcı olabilir; ancak gereksiz tekrarları artırma ihtimali var.
3. Kaynağı doğrulatmak: Yanıtta belge adı ve sayfa numarası istemek kullanışlı, ama bu bilgilerin gerçekten doğru parçaya dayandığını ayrıca kontrol etmek gerekiyor. Ben birkaç soruyu cevabıyla birlikte kaynak sayfasından doğrulamayı düşünüyorum; yalnızca cevabın akıcı olması yeterli ölçüt değil.
Siz kendi dokümanlarınızda RAG kullanıyor musunuz? En çok OCR, parça boyutu, arama yöntemi ya da kaynak gösterme tarafında mı zorlandınız?
1. Belgeyi aramaya uygun hâle getirmek: Taranmış PDF’lerde OCR hataları, başlıkları ve tabloları birbirine karıştırabiliyor. Metin çıkarma aşamasında başlıkların, sayfa numaralarının ve tablo düzeninin korunup korunmadığını kontrol etmek önemli. Yoksa model, doğru parçayı bulsa bile bağlamı eksik alabiliyor.
2. Parçalara ayırma biçimi: Sabit uzunlukta parçalar uygulaması kolay, fakat bir paragrafın ortasından kesilince anlam kaybolabiliyor. Başlık ve bölüm sınırlarını dikkate almak daha iyi sonuç veriyor mu, emin değilim. Bir miktar örtüşme eklemek de yardımcı olabilir; ancak gereksiz tekrarları artırma ihtimali var.
3. Kaynağı doğrulatmak: Yanıtta belge adı ve sayfa numarası istemek kullanışlı, ama bu bilgilerin gerçekten doğru parçaya dayandığını ayrıca kontrol etmek gerekiyor. Ben birkaç soruyu cevabıyla birlikte kaynak sayfasından doğrulamayı düşünüyorum; yalnızca cevabın akıcı olması yeterli ölçüt değil.
Siz kendi dokümanlarınızda RAG kullanıyor musunuz? En çok OCR, parça boyutu, arama yöntemi ya da kaynak gösterme tarafında mı zorlandınız?