Aksiyon alan ajanlarda güvenlik sınırı nasıl çizilir?
Bir ajan sisteminize yazma yetkisi aldığı anda risk profili değişir. Geri dönüşsüz adımlar, onay noktaları ve denetim izi için uyguladığımız çerçeve.
- Yazar
- DijitalBudur
- Yayın
- Güncelleme
- Süre
- 9 dk
Bir dil modeli yalnızca metin ürettiği sürece hatasının maliyeti sınırlıdır. Sisteminize yazma yetkisi aldığı anda tablo değişir: artık yanlış bir çıkarım, yanlış bir işleme dönüşebilir.
Geri dönüşsüz adımları ayırın
Ajan tasarımına her zaman şu soruyla başlıyoruz: hangi adımlar geri alınabilir? Geri alınabilenler otomatik akar. Para hareketi, dışarıya mesaj gönderme, kalıcı silme gibi adımlar insan onayına bağlanır.
Yetkiyi göreve göre daraltın
- Ajan yalnızca görevinin gerektirdiği kayıtlara erişmeli
- Yazma yetkisi okuma yetkisinden ayrı verilmeli
- Her araç çağrısı için üst sınır tanımlanmalı
- Beklenmedik yoğunlukta çağrı otomatik durdurulmalı
Denetim izi olmadan üretime çıkmayın
Ajanın hangi girdiyle hangi kararı verdiği, hangi aracı hangi parametrelerle çağırdığı kayıt altında olmalı. Bir sorun çıktığında geriye dönüp bakabilmek, sistemi kapatmakla düzeltmek arasındaki farktır.
Ajan güvenliği model seçimiyle değil, yetki sınırlarının nasıl çizildiğiyle ilgilidir.
- Ajan yanlış bir işlem yaparsa ne olur?
- Doğru kurulmuş bir sistemde geri dönüşsüz işlemler zaten insan onayından geçer, dolayısıyla yanlış işlem kalıcı hâle gelmez. Geri alınabilir adımlarda ise denetim izi üzerinden hangi girdiyle hangi kararın verildiği görülür ve işlem geri alınır.
- Hangi adımlar insan onayına bağlanmalı?
- Para hareketi, dışarıya mesaj gönderme, kalıcı silme ve sözleşmesel taahhüt doğuran her adım. Ölçüt basit: geri alınamıyorsa onaya bağlanır.