Kalbos modeliu pagrįsta programa priima nurodymus iš visko, ką skaito: iš naudotojo, surasto dokumento, tinklalapio turinio, įrankio išvesties. Ji negali patikimai atskirti nurodymo nuo duomenų. Kai modelis gali kviesti įrankius, siųsti žinutes ar rašyti į duomenų bazę, dokumente paslėptas sakinys tampa veiksmu jūsų sistemose.
Testuojame visą programą, ne tik modelį: raginimus, informacijos paieškos konvejerį, įrankius ir jų teises, agentus ir juos jungiančius protokolus. Klausimas – ką užpuolikas gali priversti sistemą padaryti, perskaityti ar atskleisti ir ar apsaugos priemonės aplink modelį atsilaiko, kai pats modelis neatsilaiko.
01Apimtis
Ką testuojame
Tiesioginis ir netiesioginis raginimų įterpimas (angl. prompt injection) per kiekvieną įvestį, kurią skaito modelis
Sisteminių raginimų, paslapčių ir kitų naudotojų ar nuomininkų (angl. tenant) duomenų atskleidimas
Paieška papildytas generavimas (RAG): nuodijimas, dokumentų saugyklos prieigos kontrolė
Įrankiai ir funkcijų kvietimas: perteklinės teisės, nesaugūs parametrai, supainioto tarpininko (angl. confused deputy) problema
Agentai: tikslo užgrobimas, atminties nuodijimas, nesaugus savarankiškumas, agentų tarpusavio pasitikėjimas
Protokolo Model Context Protocol serveriai: autentifikavimas, įrankių nuodijimas, komandų vykdymas
Išvesties apdorojimas: įterpimas į naršykles, komandų apvalkalus, užklausas ir tolesnes sistemas
Apsauginiai ribotuvai (angl. guardrails) ir filtrai: apėjimas naudojant kodavimą, kitą kalbą, vaidmenų žaidimą ir kelių žingsnių atakas
Išteklių naudojimas ir piktnaudžiavimas, didinantis sąnaudas
02Darbo eiga
Kaip atliekamas darbas
01
Architektūros peržiūra
Nustatome, ką modelis skaito, ką gali kviesti ir kieno teisėmis. Dauguma kritinių radinių matomi jau šiame etape – kaip trūkstama pasitikėjimo riba.
02
Testavimas užpuoliko požiūriu
Įvestis kuriame rankiniu būdu ir generuojame dideliais kiekiais kiekvienam kanalui, kuriuo duomenys patenka į modelį. Sėkmingą ataką sumažiname iki mažiausios ją atkuriančios įvesties.
03
Piktnaudžiavimas įrankiais ir agentais
Įterptais nurodymais valdome įrankius ir agentus: priverčiame juos skaityti tai, kas turėtų būti neprieinama, veikti kito naudotojo vardu, pereiti iš vienos sistemos į kitą.
04
Apsaugos priemonių tikrinimas
Filtrus, apsauginius ribotuvus ir patvirtinimo žingsnius testuojame atskirai. Ataskaitoje nurodoma, kuri apsaugos priemonė kurią ataką sustabdė ir kuri nesustabdė nė vienos.
Programą. Už bazinio modelio saugumą atsako jo tiekėjas. Tai, ką kontroliuojate jūs ir kuo pasinaudoja užpuolikai, – tai, kaip modelis sujungtas su jūsų duomenimis ir įrankiais.
Raginimų įterpimo visiškai ištaisyti neįmanoma. Kam jo ieškoti?
Tam, kad žinotumėte, kas iš jo išplaukia. Jei įterpimas lemia neteisingą atsakymą, tai kokybės problema. Jei dėl jo naudotojo vardu išsiunčiamas el. laiškas, tai pažeidžiamumas modelį supančiose teisėse, ir jį galima ištaisyti.
Ar naudojate mūsų duomenis išorinėms DI paslaugoms mokyti ar joms pateikti?
Ne. Klientų duomenys, raginimai ir radiniai neteikiami viešosioms DI paslaugoms ir nenaudojami mokymui. Kalbos modeliais pagrįsti įrankiai veikia mūsų kontroliuojamose aplinkose.
Ar tai apima ES Dirbtinio intelekto akto reikalavimus?
Testavimas užpuoliko požiūriu yra viena iš priemonių, kurias aktas nurodo tam tikroms sistemoms ir modeliams. Ataskaitoje metodas, apimtis ir rezultatai dokumentuojami tokia forma, kuri tinka kaip įrodymas. Ar ir kaip aktas taikomas jūsų sistemai, yra teisinis klausimas, į kurį neatsakome.