LLM-rakenduste, agentide ja MCP-integratsioonide testimine ründaja vaatenurgast: viibasüst, andmeleke, tööriistade väärkasutus ja kavandatud ülesandest väljumine.
Keelemudelil põhinev rakendus võtab juhiseid vastu kõigest, mida ta loeb: kasutajalt, leitud dokumendist, veebilehe sisust, tööriista väljundist. See ei suuda usaldusväärselt eristada juhist andmetest. Kui mudel saab kutsuda tööriistu, saata sõnumeid või kirjutada andmebaasi, muutub dokumenti peidetud lause tegevuseks teie süsteemides.
Testime kogu rakendust, mitte ainult mudelit: viipu, otsingukonveierit, tööriistu ja nende õigusi, agente ja protokolle, mis neid ühendavad. Küsimus on selles, mida ründaja saab panna süsteemi tegema, lugema või avaldama ja kas mudelit ümbritsevad kaitsemeetmed peavad vastu siis, kui mudel ise vastu ei pea.
01Ulatus
Mida me testime
Otsene ja kaudne viibasüst iga sisendi kaudu, mida mudel loeb
Süsteemiviipade, saladuste ning teiste kasutajate või kliendikeskkondade andmete avalikuks tulek
Tööriistad ja funktsioonikutsed: liigsed õigused, ebaturvalised parameetrid, õiguste väärkasutus vahendaja kaudu
Agendid: eesmärgi kaaperdamine, mälu mürgitamine, ebaturvaline autonoomia, agentidevaheline usaldus
Model Context Protocoli serverid: autentimine, tööriistade mürgitamine, käskude käivitamine
Väljundi käsitlemine: süstimine brauseritesse, käsukestadesse, päringutesse ja järgnevatesse süsteemidesse
Kaitsepiirded ja filtrid: möödahiilimine kodeerimise, keele, rollimängu ja mitmekäiguliste rünnete abil
Ressursikasutus ja kulusid kasvatav väärkasutus
02Lähenemisviis
Kuidas töö käib
01
Arhitektuuri ülevaatus
Kaardistame, mida mudel loeb, mida see saab kutsuda ja kelle õigustega. Enamik kriitilisi leide on selles etapis näha puuduva usalduspiirina.
02
Testimine ründaja vaatenurgast
Sisendeid koostatakse käsitsi ja genereeritakse suurel hulgal iga kanali jaoks, mille kaudu mudelini jõutakse. Õnnestunud rünne taandatakse väikseimale sisendile, mis seda taasesitab.
03
Tööriistade ja agentide väärkasutus
Juhime süstitud juhistega tööriistu ja agente: et lugeda seda, mis peaks olema loetamatu, tegutseda teise kasutaja nimel, liikuda ühest süsteemist järgmisse.
04
Kaitsemeetmete valideerimine
Filtreid, kaitsepiirdeid ja kinnitussamme testitakse eraldi. Aruandes on kirjas, milline kaitsemeede peatas millise ründe ja milline ei peatanud ühtegi.
Rakendust. Alusmudeli ohutuse eest vastutab selle pakkuja. See, mida teie kontrollite ja mida ründajad ära kasutavad, on viis, kuidas mudel on ühendatud teie andmete ja tööriistadega.
Viibasüsti ei saa täielikult parandada. Mis mõte on seda otsida?
Mõte on teada, mis sellest järgneb. Kui süst viib vale vastuseni, on see kvaliteediprobleem. Kui see viib kasutaja nimel saadetud e-kirjani, on see turvanõrkus mudelit ümbritsevates õigustes ja seda saab parandada.
Kas kasutate meie andmeid väliste AI-teenuste treenimiseks või nende viipades?
Ei. Klientide andmeid, viipu ja leide ei saadeta avalikele AI-teenustele ega kasutata treenimiseks. Keelemudelitel põhinevad tööriistad töötavad meie kontrolli all olevates keskkondades.
Kas see katab tehisintellekti määruse nõudeid?
Testimine ründaja vaatenurgast on üks meetmetest, millele määrus teatud süsteemide ja mudelite puhul viitab. Aruanne dokumenteerib meetodi, ulatuse ja tulemused tõendina kasutamiseks sobival kujul. See, kas ja kuidas määrus teie süsteemile kohaldub, on õiguslik küsimus, millele me ei vasta.