AI özelliklerinde ekipler çoğu zaman model seçimine odaklanıyor. Oysa üretimde kırılan katman genellikle değerlendirme sistemi oluyor. Prompt değişiyor, retrieval kaynağı büyüyor, guardrail metni güncelleniyor ve yanıtlar akıcı görünmeye devam ediyor. Buna rağmen gerçek görev başarısı düşebiliyor.
Bu tabloyu değerlendirme borcu olarak görüyoruz: özellik karmaşıklığı arttıkça kaliteyi ölçen altyapı aynı hızda olgunlaşmıyor. Sonuç, geç fark edilen güven kaybı.
Biz değerlendirmeyi üç seviyede ele alıyoruz. Birincisi görev doğruluğu; yanıt doğru mu, eksik mi, yanlış güvenle mi geliyor? İkincisi politika güvenliği; içerik sınırları aşılıyor mu, yasak davranış kalıpları tetikleniyor mu? Üçüncüsü iş etkisi; kullanıcı işi daha hızlı bitiriyor mu, tekrar deneme oranı artıyor mu?
Offline setler regresyon kontrolü için kritik fakat tek başına yeterli değil. Trafik dağılımı değiştikçe model davranışı yeni kenar durumlar üretiyor. Bu yüzden online shadow değerlendirme kullanıyoruz. Yeni varyant gerçek trafiği işler ama kullanıcıya yanıt dönmez; yalnızca kalite puanı üretir.
Release tarafında prompt güncellemesini kod güncellemesi kadar disiplinli ele alıyoruz. Her değişiklikte beklenen metrik etkisi, olası bozulma alanı, geri alma eşiği ve karar sahibi açıkça yazılıyor. Bu kurallar yoksa küçük update dahi yayınlanmıyor.
Buradaki asıl fark teknikten çok operasyonel. Ekipler ortak ölçüm dili kurduğunda tartışma azalıyor, karar hızı artıyor. AI kalitesini kalıcı yapan şey daha büyük model değil; doğru soruyu doğru zamanda soran değerlendirme sistemidir.
