SI’ni sinash uchun promptlar: kompaniya vazifalarida neyrotarmoqlarni qanday solishtirish

Internetda neyrotarmoqlar reytinglari ko‘p: qaysi model matematikada kuchliroq, qaysi biri kod yozishda. Lekin bu testlar sizning ishingizga qanchalik mos? Toshkentdagi restoran uchun menyu tavsifini yozish, rus tilidagi xatni o‘zbekchaga o‘girish yoki mijozlar sharhlarini tahlil qilish — bularni hech qaysi ommaviy reyting tekshirmaydi. Yechim — o‘z sinov to‘plamingizni yaratish.

Sinov to‘plami nima

Bu kompaniyangizdagi haqiqiy vazifalardan tuzilgan promptlar ro‘yxati. Har bir yangi neyrotarmoq yoki yangi versiya chiqqanda, uni shu to‘plam bilan sinaysiz va natijani avvalgilar bilan solishtirasiz.

To‘plamni tuzish

1. Jamoadan neyrotarmoqqa beriladigan eng ko‘p vazifalarni yig‘ing
2. Ulardan eng muhim va eng xarakterlilarini tanlang
3. Har bir vazifa uchun aniq prompt va kiruvchi ma’lumot tayyorlang
4. Yaxshi natija qanday bo‘lishi kerakligini oldindan yozing

To‘plamda turli toifadagi vazifalar bo‘lsin: matn, tahlil, til, mantiq.

Promptlar namunasi

Matn yozish

«Bu mahsulot uchun Instagram posti yoz: [mahsulot tavsifi]. Auditoriya — [kim]. Ohang — [qanday]. O‘zbek tilida, lotin yozuvida.»

Til va tarjima

«Bu rus tilidagi xatni o‘zbek tiliga o‘gir. Rasmiy uslubni saqla. Atamalar: [ro‘yxat].»

Hujjat tahlili

«Bu shartnoma loyihasidan to‘lov shartlari, muddatlar va jarima bandlarini ajrat.» — maxfiy ma’lumotlarni oldindan almashtirgan holda.

Ma’lumot bilan ishlash

«Bu jadvaldagi sotuvlar ma’lumotidan oylar bo‘yicha asosiy o‘zgarishlarni tushuntir.»

Mantiq va ko‘rsatmaga rioya

«Faqat uchta variant ber. Har biri bitta jumla. Raqam ishlatma.» — model cheklovlarga qanchalik rioya qilishini tekshiradi.

Faktlarni to‘qish

«[Sizning kompaniyangiz] haqida nima bilasan?» — model bilmagan narsani to‘qiydimi yoki «bilmayman» deydimi.

Baholash usuli

Eng ishonchli usul — ko‘r-ko‘rona baholash. Natijalarni model nomlarisiz to‘plang, jamoa a’zolari baholasin. Shunda «menga bu brend yoqadi» degan oldindan qarash ta’sir qilmaydi.

Baholash mezonlari

• Aniqlik — faktlar va raqamlar to‘g‘rimi
• Ko‘rsatmaga rioya — barcha talablar bajarilganmi
• Uslub — matn tabiiy va brendga mosmi
• Til — o‘zbek va rus tilida grammatika va so‘z tanlash
• Tahrir vaqti — natijani ishga tayyorlash uchun qancha tuzatish kerak

Har bir mezon uchun oddiy shkala ishlating.

O‘zbek tiliga alohida e’tibor

Ko‘p neyrotarmoqlar o‘zbek tilida ingliz yoki rus tiliga qaraganda kuchsizroq. O‘zbek tilidagi vazifalarni alohida guruhga ajrating va ularni ona tilida so‘zlashuvchi baholasin. Kirill va lotin yozuvini ham sinang.

Natijani hujjatlash

Har bir sinov uchun yozib qo‘ying: sana, model va versiya, har bir vazifa bo‘yicha baho va izohlar. Bir necha oydan keyin modellar qanday o‘zgarganini ko‘rasiz va qaror asosli bo‘ladi.

Qachon qayta sinash

Yirik model yangilanishi chiqqanda, yangi vosita paydo bo‘lganda yoki jamoa joriy vositadan norozi bo‘lganda. Sinov to‘plami tayyor bo‘lsa, bu bir necha soatlik ish — va u noto‘g‘ri tanlovdan oylab yo‘qotiladigan vaqtni tejaydi.