Konuyu Açan
#1
Kod asistanına “bu fonksiyon için test yaz” dediğimde çoğu zaman derli toplu bir test paketi çıkıyor. Ama testlerin geçmesi, davranışın doğru olduğu anlamına gelmiyor: Model, uygulamadaki varsayımı fark etmeden testlere de kopyalayabiliyor.
Örneğin tarih aralığı alan bir fonksiyonda başlangıç ve bitiş günlerinin dahil olup olmadığı belirsizse, asistan mevcut kodu okuyup aynı belirsizliği testlere taşıyabilir. Sonuçta bütün testler yeşil, sınır koşulu ise hâlâ tartışmalı.
Ben daha güvenilir sonuç için önce beklenen davranışı koddan bağımsız, açık örneklerle yazdırıyorum: “1–5 aralığında 5 dahil mi?”, “boş aralıkta ne dönmeli?”, “saat dilimi değişirse sonuç ne olmalı?” Sonra testleri bu örneklere göre kontrol ediyorum. İkinci adımda da özellikle sınır değerleri ve geçersiz girdileri istiyorum; yalnızca tipik kullanım örnekleriyle yetinmiyorum.
Bir başka kontrol de testi bilerek bozmaya çalışmak: koşulun yönünü ters çevirdiğimde ya da sınır kontrolünü kaldırdığımda test başarısız oluyor mu? Olmuyorsa test, önemli davranışı korumuyor olabilir.
Siz yapay zekânın ürettiği testleri nasıl doğruluyorsunuz; hiç “yeşil testlere” rağmen kaçan bir hata yakaladınız mı?
Örneğin tarih aralığı alan bir fonksiyonda başlangıç ve bitiş günlerinin dahil olup olmadığı belirsizse, asistan mevcut kodu okuyup aynı belirsizliği testlere taşıyabilir. Sonuçta bütün testler yeşil, sınır koşulu ise hâlâ tartışmalı.
Ben daha güvenilir sonuç için önce beklenen davranışı koddan bağımsız, açık örneklerle yazdırıyorum: “1–5 aralığında 5 dahil mi?”, “boş aralıkta ne dönmeli?”, “saat dilimi değişirse sonuç ne olmalı?” Sonra testleri bu örneklere göre kontrol ediyorum. İkinci adımda da özellikle sınır değerleri ve geçersiz girdileri istiyorum; yalnızca tipik kullanım örnekleriyle yetinmiyorum.
Bir başka kontrol de testi bilerek bozmaya çalışmak: koşulun yönünü ters çevirdiğimde ya da sınır kontrolünü kaldırdığımda test başarısız oluyor mu? Olmuyorsa test, önemli davranışı korumuyor olabilir.
Siz yapay zekânın ürettiği testleri nasıl doğruluyorsunuz; hiç “yeşil testlere” rağmen kaçan bir hata yakaladınız mı?