LLM lietotņu, aģentu un MCP integrāciju testēšana no uzbrucēja pozīcijas: uzvednes injekcijas, datu noplūde, rīku ļaunprātīga izmantošana un iziešana ārpus paredzētā uzdevuma.
Lietotne, kas veidota uz valodas modeļa bāzes, pieņem norādījumus no visa, ko tā lasa: no lietotāja, no atgūta dokumenta, no tīmekļa lapas satura, no rīka izvades. Tā nespēj droši atšķirt norādījumu no datiem. Tiklīdz modelis var izsaukt rīkus, sūtīt ziņas vai rakstīt datubāzē, dokumentā paslēpts teikums kļūst par darbību jūsu sistēmās.
Testējam visu lietotni, ne tikai modeli: uzvednes, informācijas izguves plūsmu, rīkus un to piekļuves tiesības, aģentus un protokolus, kas tos savieno. Jautājums ir, ko uzbrucējs var likt sistēmai izdarīt, nolasīt vai atklāt un vai kontroles ap modeli iztur, kad pats modelis neiztur.
01Tvērums
Ko mēs testējam
Tieša un netieša uzvednes injekcija caur katru ievadi, ko modelis lasa
Sistēmas uzvedņu, noslēpumu un citu lietotāju vai nomnieku datu atklāšana
Ar izguvi papildināta ģenerēšana (RAG): saindēšana, dokumentu krātuves piekļuves kontrole
Rīki un funkciju izsaukšana: pārmērīgas piekļuves tiesības, nedroši parametri, apmulsušā starpnieka problēma
Aģenti: mērķa pārņemšana, atmiņas saindēšana, nedroša autonomija, uzticēšanās starp aģentiem
Model Context Protocol serveri: autentifikācija, rīku saindēšana, komandu izpilde
Izvades apstrāde: injekcija pārlūkprogrammās, čaulās, vaicājumos un lejupējās sistēmās
Aizsargmehānismi un filtri: apiešana ar kodējumu, valodu, lomu spēlēm un vairāku soļu uzbrukumiem
Resursu patēriņš un ļaunprātīga izmaksu radīšana
02Pieeja
Kā notiek darbs
01
Arhitektūras pārskatīšana
Kartējam, ko modelis lasa, ko tas var izsaukt un ar kā piekļuves tiesībām. Lielākā daļa kritisku konstatējumu ir redzami jau šajā posmā kā trūkstoša uzticēšanās robeža.
02
Testēšana no uzbrucēja pozīcijas
Ievades veidojam manuāli un ģenerējam lielos apjomos pret katru kanālu, pa kuru dati nonāk modelī. Veiksmīgu uzbrukumu reducējam līdz mazākajai ievadei, kas to reproducē.
03
Rīku un aģentu ļaunprātīga izmantošana
Ar injicētiem norādījumiem vadām rīkus un aģentus: lai nolasītu to, kam jābūt nenolasāmam, rīkotos cita lietotāja vārdā, pārvietotos no vienas sistēmas uz nākamo.
04
Kontroļu validācija
Filtrus, aizsargmehānismus un apstiprināšanas soļus testējam atsevišķi. Ziņojumā norādīts, kura kontrole apturēja kuru uzbrukumu un kura neapturēja nevienu.
Katra konstatējuma bīstamības vērtējums un vektors.
FIRST
06Jautājumi
Jautājumi par šo pakalpojumu
Vai testējat modeli vai lietotni?
Lietotni. Par bāzes modeļa drošumu atbild tā pakalpojumu sniedzējs. Tas, ko kontrolējat jūs un ko izmanto uzbrucēji, ir veids, kā modelis ir savienots ar jūsu datiem un rīkiem.
Uzvednes injekciju nevar pilnībā novērst. Kāda jēga to meklēt?
Jēga ir zināt, kas no tās izriet. Ja injekcija noved pie nepareizas atbildes, tā ir kvalitātes problēma. Ja tā noved pie e-pasta, kas nosūtīts lietotāja vārdā, tā ir ievainojamība piekļuves tiesībās ap modeli, un to var novērst.
Vai izmantojat mūsu datus ārēju MI pakalpojumu apmācībai vai uzvednēs?
Nē. Klientu datus, uzvednes un konstatējumus neiesniedzam publiskos MI pakalpojumos un neizmantojam apmācībai. Rīki, kas balstās uz valodas modeļiem, darbojas mūsu kontrolētās vidēs.
Vai tas aptver ES Mākslīgā intelekta akta prasības?
Testēšana no uzbrucēja pozīcijas ir viens no pasākumiem, uz kuriem akts atsaucas attiecībā uz noteiktām sistēmām un modeļiem. Ziņojumā metode, tvērums un rezultāti ir dokumentēti tādā veidā, kas der kā pierādījums. Vai un kā akts attiecas uz jūsu sistēmu, ir juridisks jautājums, uz kuru mēs neatbildam.