Yapay Zekayı Bir Kapı (Gate) ile Sınırlandırmadığınızda Atlayacağı SDLC Kontrolleri

Yapay zekanın ürettiği koda ne kadar güveniyorsunuz? Çoğu yazılımcı gibi muhtemelen tamamen güvenmiyorsunuz. Ancak burada gözden kaçırılması en kolay nokta şudur: Yapay zeka genellikle yanlış kod üretmez, eksik kod üretir. Kod sorunsuz derlenir, mutlu yol (happy path) senaryoları kusursuz çalışır ve demolar harika görünür. Eksik olan kısım ise yazılım geliştirme yaşam döngüsünün (SDLC) sıkıcı ama hayati %20'lik bölümüdür: Kimsenin doğrulamadığı bağımlılıklar, ön koşulundan önce çalışan adımlar ve sadece kağıt üzerinde var olup hiçbir şeyi eski haline getirmeyen geri alma (rollback) süreçleri.

Bu gerçekler teoriden değil; 170 ajan hedefi çalıştırıp aynı planlama kusurlarının tekrarlandığını gözlemleyerek ve 83 ajanı araç çağırma kapılarından geçirerek bizzat test edildi. Eğer git add/commit/push ve diff inceleme rutinleri sizin için ikinci bir doğaysa, bilmelisiniz ki yeşil yanan CI testleri bu açıkları yakalayamaz. Bir kuralı yalnızca "kılavuz" (guideline) olarak bırakmak sadece bir temennidir; asıl ihtiyaç duyulan şey, koşul sağlanmadığında derlemeyi veya süreci kıran deterministik bir kapı (gate) kurmaktır.

İşte yapay zekanın katı bir kapı mekanizması olmadıkça atlayacağı kritik kontroller:

1. Bağımlılıkları İlgili Adımdan Önce Doğrulayın

En sık karşılaşılan hata, planın daha önceki hiçbir adımın sağlamadığı bir ön koşul tanımlamasıdır (63 başarısız planda 57 engelleyici bu kategoridedir). Model neyin doğru olması gerektiğini bilir ancak adımları bunu sağlayacak şekilde düzenlemez. Örneğin trafik %100'e aktarılırken önceki aşamaların kararlılığı doğrulanmaz.

Pratik Çıkarım: Model taslak planı oluşturduktan sonra çalışan ve her ön koşulun önceki bir göreve bağlanmasını şart koşan deterministik bir doğrulayıcı çalıştırın. Yapay zeka "doğrulamanın ardından" diyorsa, doğrulamayı tam olarak hangi görevin yapacağını açıkça zorunlu kılın.

2. Görevleri Katı Ön Koşullarına Göre Sıralayın

Ölçülen 46 engelleyici doğrudan sıralama hatalarından kaynaklanmıştır: Kontrol yapılmadan canlıya geçiş, indeks doğrulanmadan veri doldurma veya yedekleme tamamlanmadan veritabanının silinmesi gibi. Modeller doğru adımları listelemede başarılı olsa da onları doğru sıraya koymakta yetersizdir.

Pratik Çıkarım: Görev sıralaması bir doğal dil problemi değil, bir çizge (graph) problemidir. Sıralamayı prompt ile çözmeye çalışmak yerine topolojik kontrol (topological check) mekanizmalarıyla zorunlu bir kapı haline getirin.

3. Yüksek Riskli Adımlarda Güvenilir Bir Geri Alma Zorunluluğu Getirin

Modeller genellikle rutin adımlara geri alma eklerken; geçiş (cutover), yıkım (teardown) ve arıza durumunda geri dönüş (failback) gibi kritik adımları atlar (18 engelleyici). Çift yazma (dual-write) kurulumunda yapılan geri alma, oluşan tutarsızlıkları düzeltmeden yalnızca tek yazmaya dönüyorsa bu gerçek bir geri alma değil, sadece bir süstür.

Pratik Çıkarım: Metriğiniz "geri alma kapsamı" değil, geri almanın erişilebilirliği ve geçerliliği olmalıdır. Hata anında sistemin bilinen kararlı duruma tam olarak dönüp dönmeyeceği test edilmelidir.

4. İstemleri Değil, Araç Çağrılarını (Tool Calls) Kapıya Bağlayın

Ajan güvenliği tartışmaları genellikle prompt aşamasında biter. Oysa istem tabanlı savunmalar sadece birer öneridir. Deterministik kontrol sağlayabileceğiniz son nokta, ajanın yaptığı araç çağrısıdır (tool call).

Pratik Çıkarım: İkili izin/ret yaklaşımı yerine dört seviyeli bir denetim (allow, audit, escalate, deny) uygulayın. Araç seviyesinde geçit oluşturarak yetkisiz ve hatalı işlemleri deterministik biçimde engelleyin.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.