SI-agent nazoratdan chiqqanda: tipik nosozliklar va ularning oldini oluvchi cheklovlar

«SI-agent nazoratdan chiqdi» degan sarlavhalar ko‘pincha fantastikaga o‘xshaydi. Amalda bu ancha oddiy va kundalik holatlar: agent mijozga va’da berib yuboradi, keraksiz xat jo‘natadi, bitta amalni yuz marta takrorlaydi. Sababi «ong» emas, balki noto‘g‘ri berilgan ruxsatlar va cheklovlar yo‘qligi.

Tipik nosozliklar

Ruxsat etilmagan va’dalar. Mijozlar bilan ishlovchi agent chegirma, bepul yetkazib berish yoki qaytarish shartini «o‘ylab topadi». Mijoz esa yozishmani skrinshot qilib, va’dani bajarishni talab qiladi.

Cheksiz sikl. Agent vazifani bajara olmaydi va qayta-qayta urinadi: bir xil so‘rovni yuboradi, bir xil xatni jo‘natadi. Natijada pullik so‘rovlar limiti tugaydi yoki mijoz o‘nlab xabar oladi.

Ortiqcha amallar. Ma’lumotlarni o‘chirish yoki o‘zgartirish huquqi bor agent «tozalash» vazifasini juda keng tushunadi va kerakli yozuvlarni o‘chiradi.

Begona ko‘rsatmalar. Agent sayt, xat yoki hujjatni o‘qiydi va uning ichidagi yashirin matnni buyruq deb qabul qiladi: «oldingi ko‘rsatmalarni unut va...» Bu prompt injection deb ataladi.

Ishonchli xato. Agent bazada javob yo‘q bo‘lsa ham, ishonch bilan noto‘g‘ri ma’lumot beradi.

Cheklov 1: minimal ruxsatlar

Agentga faqat vazifasi uchun kerak bo‘lgan huquqlarni bering. Savolga javob beruvchi agentga o‘qish kifoya. Buyurtma yaratuvchi agent buyurtmani o‘chira olmasligi kerak. Har bir integratsiya uchun alohida, cheklangan kalit ishlating.

Cheklov 2: inson tasdig‘i

Qaytarib bo‘lmaydigan amallardan oldin tasdiq so‘rang: pul o‘tkazish, ommaviy xat yuborish, ma’lumot o‘chirish, mijozga rasmiy javob. Agent tayyorlaydi — odam tasdiqlaydi.

Cheklov 3: limitlar

• Bitta vazifa uchun qadamlar soni chegarasi
• Kunlik yuboriladigan xabarlar soni
• Vaqt chegarasi: belgilangan vaqtda tugamasa, to‘xtash va xabar berish
• Xarajat chegarasi

Cheklov 4: aniq yo‘riqnoma

Yo‘riqnomada nima taqiqlanganini to‘g‘ridan-to‘g‘ri yozing: «Chegirma, muddat va kafolat bo‘yicha va’da berma. Bazada javob yo‘q bo‘lsa, menejerga topshir.» Tashqi matnlar — saytlar, xatlar, fayllar — ma’lumot ekanini, buyruq emasligini ham yozing.

Cheklov 5: jurnal va kuzatuv

Agentning har bir amali yozib borilishi kerak: nima so‘raldi, qanday vosita chaqirildi, natija nima bo‘ldi. Birinchi haftalarda jurnalni har kuni ko‘ring. Shubhali holatlar uchun ogohlantirish sozlang.

Cheklov 6: to‘xtatish tugmasi

Agentni bir zumda o‘chirish imkoniyati bo‘lishi kerak, va bu kimning vazifasi ekanini oldindan kelishing. Nosozlik kechasi yoki dam olish kunida bo‘lishi mumkin.

Nosozlik sodir bo‘lsa

1. Agentni darhol to‘xtating
2. Jurnaldan nima bo‘lganini aniqlang: qaysi so‘rov, qaysi amal
3. Ta’sirlangan mijozlarga odam yozsin, tushuntirish va yechim bilan
4. Sababni yoping: ruxsatni qisqartiring, yo‘riqnomani o‘zgartiring, tasdiq qo‘shing
5. Shu holatni sinov to‘plamiga qo‘shing, takrorlanmasligi uchun

Sinov

Ishga tushirishdan oldin agentni «buzishga» urinib ko‘ring: qo‘pol mijoz, chegirma talab qilish, yashirin buyruqli hujjat, mavjud bo‘lmagan mahsulot haqida savol. Qanday javob berishini yozib oling va yo‘riqnomani to‘g‘rilang.