Angrepstesting av LLM-applikasjoner, agenter og MCP-integrasjoner: prompt injection, datalekkasje, misbruk av verktøy og handlinger utenfor den tiltenkte oppgaven.
En applikasjon som er bygget på en språkmodell, tar imot instruksjoner fra alt den leser: brukeren, et hentet dokument, innholdet på en side på internett, resultatet fra et verktøy. Den kan ikke pålitelig skille en instruksjon fra data. Så snart modellen kan kalle verktøy, sende meldinger eller skrive til en database, blir en setning som er skjult i et dokument, en handling i systemene dine.
Vi tester hele applikasjonen og ikke bare modellen: promptene, pipelinen for henting av innhold, verktøyene og tilgangene deres, agentene og protokollene som kobler dem sammen. Spørsmålet er hva en angriper kan få systemet til å gjøre, lese eller avsløre, og om kontrollene rundt modellen holder når modellen selv ikke gjør det.
01Omfang
Hva vi tester
Direkte og indirekte prompt injection gjennom all input som modellen leser
Avsløring av systemprompter, hemmeligheter og data som tilhører andre brukere eller leietakere
Retrieval-augmented generation: forgiftning, tilgangskontroll i dokumentlageret
Verktøy og funksjonskall: for vide tilganger, usikre parametere, confused deputy
Agenter: kapring av mål, forgiftning av minne, usikker autonomi, tillit mellom agenter
Servere for Model Context Protocol: autentisering, forgiftning av verktøy, kjøring av kommandoer
Håndtering av output: injeksjon i nettlesere, skall, spørringer og systemer lenger ned i kjeden
Sikkerhetssperrer og filtre: omgåelse med koding, språk, rollespill og angrep over flere runder
Ressursbruk og misbruk som driver opp kostnadene
02Fremgangsmåte
Slik utføres arbeidet
01
Gjennomgang av arkitekturen
Vi kartlegger hva modellen leser, hva den kan kalle, og hvilke identiteter og tilganger den bruker. De fleste kritiske funn er synlige allerede på dette stadiet, som en tillitsgrense som mangler.
02
Angrepstesting
Input lages manuelt og genereres i stor skala mot hver kanal inn til modellen. Et vellykket angrep reduseres til den minste inputen som gjenskaper det.
03
Misbruk av verktøy og agenter
Vi bruker injiserte instruksjoner til å styre verktøy og agenter: til å lese det som ikke skal kunne leses, til å handle i navnet til en annen bruker, til å bevege seg fra ett system til det neste.
04
Validering av kontroller
Filtre, sikkerhetssperrer og godkjenningssteg testes hver for seg. Rapporten angir hvilken kontroll som stoppet hvilket angrep, og hvilke som ikke stoppet noe.
Poengsum og vektor for alvorlighetsgraden til hvert funn.
FIRST
06Spørsmål
Spørsmål om denne tjenesten
Tester dere modellen eller applikasjonen?
Applikasjonen. Sikkerheten til grunnmodellen er leverandørens ansvar. Det du kontrollerer, og det angripere utnytter, er hvordan modellen er koblet til dataene og verktøyene dine.
Prompt injection kan ikke utbedres fullstendig. Hva er poenget med å finne det?
Poenget er å vite hva det fører til. Hvis injeksjon fører til et feil svar, er det et kvalitetsproblem. Hvis den fører til en e-post som sendes i brukerens navn, er det en sårbarhet i tilgangene rundt modellen, og den kan utbedres.
Bruker dere dataene våre til å trene eller instruere eksterne KI-tjenester?
Nei. Kundedata, prompter og funn sendes ikke til offentlige KI-tjenester og brukes ikke til trening. Verktøy som bygger på språkmodeller, kjører i miljøer vi kontrollerer.
Dekker dette kravene i EUs KI-forordning?
Angrepstesting er et av tiltakene forordningen viser til for visse systemer og modeller. Rapporten dokumenterer metode, omfang og resultater i en form som egner seg som bevis. Om og hvordan forordningen gjelder for systemet ditt, er et juridisk spørsmål som vi ikke besvarer.