LLM çıktısını Python’da güvenilir biçimde doğrulamak

0 Yanıt 0 Görüntülenme
Puanlayanlar
Katılımcılar
Konuyu Açan #1
Bir modelden JSON istemek kolay; uygulamada kullanırken asıl mesele, her seferinde beklediğimiz şekle uygun veri alabilmek. Farklı modellerin yapılandırılmış çıktı desteğini denerken, şema özelliğine güvensem bile gelen veriyi Python tarafında doğrulamayı atlamamaya başladım.

Pydantic bu iş için kullanışlı: Hem alan tiplerini kontrol ediyor hem de hatalı çıktıda sorunun nerede olduğunu anlaşılır biçimde gösteriyor. Örneğin:

KOD
1234567891011
from pydantic import BaseModel, ValidationError

class Gorev(BaseModel):
    baslik: str
    tamamlandi: bool

try:
    gorev = Gorev.model_validate_json(model_yaniti)
except ValidationError as hata:
    print(hata)


Benim için önemli iki nokta var. İlk olarak, doğrulama hatasında modele yeniden deneme yaptıracaksam, hata mesajını olduğu gibi göndermek yerine beklenen alanları ve izin verilen düzeltmeleri açıkça belirtmek daha iyi sonuç veriyor. İkinci olarak, yeniden deneme sayısını sınırlamak gerekiyor; yoksa bozuk yanıtlar hem gecikmeyi hem de maliyeti artırabiliyor. Model sağlayıcısının şema desteği de değişebildiğinden, aynı test örneklerini kullandığım modellerde çalıştırmak faydalı.

Siz Python projelerinizde model çıktısını nasıl doğruluyorsunuz? Pydantic dışında önereceğiniz bir kütüphane ya da sağlam bulduğunuz bir yeniden deneme yaklaşımı var mı?

Yanıt vermek için giriş yapmış olmalısınız.

0 alıntı seçildi