İlk AWS Agent İş Akışımı Oluşturdum ve En Zor Kısmı Varsayım Yapmasını Engellemekti

Giriş ve Proje Kapsamı

AWS AI & ML Bursu ile tamamlanan Udacity Future AWS Agent Engineer Nanodegree programı kapsamında, müşteri destek süreçlerini otomatikleştiren bir yapay zeka ajanı iş akışı geliştirildi. Mimaride Amazon Bedrock AgentCore, AgentCore Gateway, AWS Lambda, DynamoDB ve bir SSS (FAQ) bilgi tabanı entegre edildi.

Ajanın görevi, gelen kullanıcı taleplerini analiz ederek üç ana kategoriye ayırmaktı:

Hata bildirimi (bug report) oluşturmak,
SSS üzerinden doğrudan yanıtlanabilecek soruları cevaplamak,
İnsan desteği gerektiren karmaşık durumları yetkili personele aktarmak.

Sistem yaklaşık iki günde inşa edildi ve değerlendirme testlerini ilk denemede 0.83 doğruluk skoru ile geçti. Ancak çalışmanın en öğretici yönü, elde edilen skordan ziyade değerlendirme sürecindeki başarısızlıklardan çıkarılan dersler oldu.

Değerlendirme Testleri ve Varsayım Problemi

Sistem mimarisinde, ajanın veritabanında bir hata bileti oluşturabilmesi için üç zorunlu verinin toplanması kural olarak tanımlanmıştı:

Sorunun açıklaması: Kullanıcının karşılaştığı hatanın net tanımı,
Yeniden oluşturma adımları: Hatanın adım adım nasıl tetiklendiği,
Çalışma ortamı: Sistemin çalıştığı işletim sistemi, tarayıcı veya cihaz bilgisi.

Değerlendirme testlerindeki iki senaryoda model, kullanıcının niyetini doğru anlamasına rağmen kural ihlali yaptı. Zorunlu alanlardan biri eksik olmasına rağmen, boşluğu kendi varsayımıyla doldurarak doğrudan bilet oluşturdu. Bu durum kritik bir yazılım gerçeğini ortaya koydu: Bir talebi anlamak ile o taleple güvenli şekilde aksiyon alacak bilgiye sahip olmak aynı şey değildir.

Güvenilir Ajanlar İçin Üç Karar Sınırı

Ajan geliştirmek yalnızca modele akıcı yanıtlar verdirmek değildir. Üretim ortamında bir ajanın şu üç davranışı kesin sınırlarla yönetmesi gerekir:

Ne zaman aksiyon alacağını bilmek: Tüm parametreler eksiksiz doğrulandığında araçları (tools/API) tetiklemek,
Ne zaman ek bilgi isteyeceğini bilmek: Gerekli parametreler eksik olduğunda varsayım üretmeyip kullanıcıya net sorular sormak,
Ne zaman durup insana devredeceğini bilmek: Belirsiz veya riskli senaryolarda işlemi durdurup insan operatöre aktarmak.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Şema doğrulamasını (Schema Validation) prompt dışına taşıyın: Modelin doğal dili anlaması ile veri doğrulaması ayrıştırılmalıdır. Parametre kontrolleri prompt metinlerine bırakılmamalı; AWS Lambda veya API gateway üzerinde katı şemalarla (JSON Schema) denetlenmelidir.
LLM varsayımlarını engelleyin: Modelin eksik verileri tahminle tamamlamasına izin verilmemeli, eksik parametre durumunda deterministik doğrulama devreye girmelidir.
Aksiyon yetkilerini sınırlandırın: Veritabanına yazma gibi yan etkisi bulunan işlemler, yalnızca doğrulanmış girdilerle çalışacak şekilde kısıtlanmalıdır.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.