Otonom Ajanlarda İnsan Onayının Tasarımı

Onay neden bir arayüz değil bir mimari karar

Bir ajanın kaç yerde durması gerektiği, estetik bir tercih değildir; risk dağılımının doğrudan çevirisidir. Bir dosyayı okumak ile silmek, bir taslağı yazmak ile göndermek, bir testi çalıştırmak ile altyapıya dokunmak — hepsi aynı “adım” kelimesinin altında farklı riskler taşır.

Bu yüzden ilk kural basit: geri döndürülemez olan sorulur, geri döndürülebilir olan sorulmaz. Kural uygulanması kolay görünüyor; ancak birçok işte geri döndürülebilirlik, ajanın kendi tahminine bağlıdır. Bir e-posta taslak olarak kurtarılabilir sayılır, gönderildiyse kurtarılamaz. Ajan, hangisi olduğuna karar verirken onay isteyip istemeyeceğini de belirlemiş olur.

İkinci boyut sıklıktır. Nadir bir işlem için onay, anlamlı bir duraktır; her işlemde onay, bir gürültüdür. Kullanıcı, gürültüyü filtrelemek için okumamayı seçer ve o an onay mekanizması fiilen kapanır.

Onay yorgunluğunun ölçülebilir bedeli

Sık onay, güvenlik yerine konfor üretir: kullanıcı “ilerliyor” hissi alır, ama denetim kaybolup bir tıklama alışkanlığına dönüşür. Ürünlerin en sık yaptığı hata, bu durumu kullanıcı dikkatsizliği kullanıcı dikkatsizliği olarak yorumlamasıdır; oysa dikkat, sistemin tasarladığı bir kıt kaynaktır.

Ölçümü mümkündür: onayların ortalama bekleme süresi, okumadan onaylama oranı ve onay sonrası geri alma sıklığı. Bu üçlü, bir ajan ürününün ne kadar gerçekten denetlendiğini gösterir. Çoğu ürün bu sayıları toplamaz; çünkü toplandığında kötü görünür.

Sağlıklı bir tasarım, onayı seyreltir ama ağırlaştırır: az sayıda durak, her birinde net bir etki cümlesi (“bu klasörü silecek”, “bu hesaptan ödeme yapacak”), ve geri alma yerine geçen ikincil güvenlikler.

Zincirleme onay ve kapsam kayması

Ajan zincirlerinde onay, tek bir noktada verilip sonra unutulur. Kullanıcının “devam” dediği an, aslında bir alt görevin ilk adımıdır; o görevin sonunda hangi yetkilerin kullanıldığı izlenmezse, onay bir kerelik izin gibi davranmaya başlar.

Bu kapsam kaymasının panzehiri, yetkiyi daraltarak devretmektir: kısa ömürlü belirteçler, tek klasöre ya da tek hesaba bağlı erişim, ve süre bitince kendiliğinden kapanan izin. Böylece “evet” yalnızca gerçekten denilen şeye evet olur.

Bir diğer savunma, etki özetidir. Ajan bir dizi iş yaptıktan sonra tek bir sayfa sunmalı: hangi sistemlere dokundu, hangi veriyi dışarı gönderdi, hangi işlem geri alınamaz. Bu sayfa bir log değil, bir muhasebe belgesidir.

Ne sorulmalı, ne sorulmamalı

Yanlış yerde sorulan onay, ajanın değerini de öldürür: hızlı olmasını beklediğiniz araç, her adımda size danışır. Bu yüzden onay noktalarını, hatanın maliyetinin onayın maliyetinden büyük olduğu yere koymak gerekir; ki bu, çoğu üründe üç-beş yerdir.

Önerilen pratik bir sınıflamadır: salt okunur işlemler sessiz, yerel ve geri alınabilir yazma işlemleri sessiz ama kayıtlı, dış dünyaya dokunan ya da geri alınamaz işlemler onaylı. Bu üç kademe, tartışmayı bitirmese de tartışılabilir hale getirir.

Kapsamı daraltmak, onay sayısını azaltmanın en ucuz yoludur. Bir ajan yalnızca bir klasöre yazabiliyorsa, o klasördeki işlemler için onay istemek gereksizdir; çünkü zararın tavanı önceden belirlenmiştir.

Ürünün asıl zor kısmı

Ajan ürünlerinde teknik güç, genellikle yeterlidir; rekabeti belirleyen şey, kullanıcının neye ne kadar güvendiğidir. Onay mimarisi bu güvenin arayüzüdür: çok gevşekse kazanım kısa sürede felakete dönüşür, çok sıkıysa kullanıcı ajanı kapatır.

Bu yüzden “otonomi seviyesi” bir pazarlama terimi değil, ürünün iç mimarisi olarak tasarlanmalı: hangi koşullarda kendi başına çalışır, hangi koşullarda durur, ve hangi koşullarda kullanıcıya bir seçim sunar. Üçünü de açık yazan az sayıda ürün var.

Sık sorulan sorular

Kaynakça

1. Ajan güvenliği ve insan denetimiOWASP
2. Otonom sistemlerde insan kararı üzerineMIT Technology Review
3. Ajan ürünleri için güvenlik pratikleriNVIDIA Developer Blog