Public Preview: Azure AI Studio-da generativ AI tətbiqləri üçün təhlükəsizlik qiymətləndirmələri

Bu gün bir çox təşkilatlar prototipdən istehsala rəvan keçə bilmələrini təmin etmək üçün generativ süni intellekt tətbiqlərini adekvat sınaqdan keçirməkdə çətinliklərlə üzləşirlər. Əsas maneələrdən biri, jailbreak hücumları kimi ortaya çıxan təhlükələr də daxil olmaqla, geniş spektrli potensial riskləri əhatə edən möhkəm test verilənlər bazası yaratmaqda çətinlikdir. Keyfiyyətli məlumatlar mövcud olduqda belə, qiymətləndirmə prosesi mürəkkəb və əmək tutumlu ola bilər, bu da tez-tez inkişaf qruplarını nəticələri deşifrə etmək və effektiv əks tədbirlər hazırlamaqda çətinlik çəkir.

Bu maneələri aradan qaldırmaq üçün Azure AI Studio-da avtomatlaşdırılmış təhlükəsizlik qiymətləndirmələrinin ictimai önizləməsini elan etməkdən məmnunuq. Bu qiymətləndirmələr tətbiqin jailbreak cəhdlərinə qarşı həssaslığını və zorakılıq, cinsi, özünə zərər və nifrət dolu mövzulardan ibarət məzmun yaratmaq meylini qiymətləndirmək üçün nəzərdə tutulub. Bundan əlavə, hər bir qiymətləndirmə təbii dil izahatları ilə gəlir, tərtibatçılara ölçmələri başa düşməyə kömək edir və azaldıcı tədbirlərlə bağlı məlumatlı qərar qəbul etməyi asanlaşdırır.

Tərtibatçılar öz test məlumat dəstlərindən istifadə edərək tətbiqlərini qiymətləndirmək və ya yüksək keyfiyyətli test məlumatlarını yaratmaq üçün Microsoft Research tərəfindən hazırlanmış əvvəlcədən qurulmuş rəqib xəbərdarlıq şablonlarından istifadə etmək çevikliyinə malikdirlər. Bundan əlavə, bu xüsusiyyət Azure AI Studio-ya qırmızı komandalara miqyasda rəqib bildirişləri yaratmağa və avtomatlaşdırmağa imkan verməklə, əl ilə qırmızı qruplaşma cəhdlərini təkmilləşdirmək və sürətləndirmək imkanı verir.

İlkin şərtlər

Süni intellektlə dəstəklənən metriklərlə qiymətləndirmək üçün sizə lazımdır:

• Formatda test verilənlər toplusu .jsonl. Dataset tələbləri üçün növbəti bölməyə baxın
• Bu modellərdən birinin tətbiqi: GPT 3.5 modelləri, GPT 4 modelləri və ya Davinci modelləri.

Dəstəklənən ssenarilər və verilənlər dəstləri

Hazırda bu ssenarilər üçün dəstək təklif edirik:

• Sualın Cavab verndırılması : Bu ssenari istifadəçi sorğularının cavablandırılması və cavabların təqdim edilməsini əhatə edən proqramlar üçün nəzərdə tutulmuşdur.
• Söhbət : Bu ssenari modelin təqdim etdiyiniz sənədlərdən məlumat çıxarmaq və ətraflı cavablar yaratmaq üçün axtarışın genişləndirilmiş yanaşmasından istifadə edərək danışıq apardığı proqramlar üçün uyğundur.

Mənbə :

1. https://learn.microsoft.com/en-us/
2. https://azure.microsoft.com/en-us/updates