Kielimalliin perustuva sovellus ottaa ohjeita kaikesta, mitä se lukee: käyttäjältä, haetusta asiakirjasta, verkkosivun sisällöstä, työkalun tulosteesta. Se ei pysty luotettavasti erottamaan ohjetta datasta. Kun malli voi kutsua työkaluja, lähettää viestejä tai kirjoittaa tietokantaan, asiakirjaan piilotettu lause muuttuu toiminnoksi järjestelmissäsi.
Testaamme koko sovelluksen emmekä vain mallia: kehotteet, hakuputken, työkalut ja niiden käyttöoikeudet, agentit ja protokollat, jotka yhdistävät ne. Kysymys on, mitä hyökkääjä voi saada järjestelmän tekemään, lukemaan tai paljastamaan ja pitävätkö mallin ympärillä olevat suojaukset silloin, kun malli itse pettää.
01Laajuus
Mitä testaamme
Suora ja epäsuora kehoteinjektio jokaisen syötteen kautta, jonka malli lukee
Järjestelmäkehotteiden, salaisuuksien sekä muiden käyttäjien tai asiakasympäristöjen tietojen paljastuminen
Hakuun perustuva generointi (RAG): myrkytys, asiakirjavaraston pääsynhallinta
Työkalut ja funktiokutsut: liialliset käyttöoikeudet, turvattomat parametrit, confused deputy
Agentit: tavoitteen kaappaus, muistin myrkytys, turvaton autonomia, agenttien välinen luottamus
Model Context Protocol -palvelimet: tunnistautuminen, työkalujen myrkytys, komentojen suoritus
Tulosteen käsittely: injektio selaimiin, komentotulkkeihin, kyselyihin ja jatkojärjestelmiin
Suojakaiteet ja suodattimet: ohitus koodauksen, kielen, roolileikin ja monivaiheisten keskustelujen avulla
Resurssien kulutus ja kustannuksia kasvattava väärinkäyttö
02Toimintatapa
Miten työ tehdään
01
Arkkitehtuurin läpikäynti
Kartoitamme, mitä malli lukee, mitä se voi kutsua ja kenen oikeuksin. Useimmat kriittiset havainnot näkyvät jo tässä vaiheessa puuttuvana luottamusrajana.
02
Hyökkäystestaus
Syötteitä laaditaan käsin ja tuotetaan suuria määriä jokaiseen kanavaan, jonka kautta malli saa syötettä. Onnistunut hyökkäys pelkistetään pienimpään syötteeseen, joka toistaa sen.
03
Työkalujen ja agenttien väärinkäyttö
Ohjaamme työkaluja ja agentteja syötetyillä ohjeilla: lukemaan sitä, minkä ei pitäisi olla luettavissa, toimimaan toisen käyttäjän nimissä, siirtymään järjestelmästä toiseen.
04
Suojausten validointi
Suodattimet, suojakaiteet ja hyväksyntävaiheet testataan erikseen. Raportissa kerrotaan, mikä suojaus pysäytti minkäkin hyökkäyksen ja mikä ei pysäyttänyt yhtään.
Sovellusta. Perusmallin turvallisuus on sen tarjoajan vastuulla. Se, mitä sinä hallitset ja mitä hyökkääjät hyödyntävät, on tapa, jolla malli on yhdistetty tietoihisi ja työkaluihisi.
Kehoteinjektiota ei voi korjata kokonaan. Mitä hyötyä sen löytämisestä on?
Hyöty on tietää, mitä siitä seuraa. Jos injektio johtaa väärään vastaukseen, kyse on laatuongelmasta. Jos se johtaa siihen, että käyttäjän nimissä lähtee sähköposti, kyse on haavoittuvuudesta mallin ympärillä olevissa käyttöoikeuksissa, ja sen voi korjata.
Käytättekö tietojamme ulkoisten tekoälypalvelujen koulutukseen tai kehotteisiin?
Emme. Asiakastietoja, kehotteita ja havaintoja ei syötetä julkisiin tekoälypalveluihin eikä käytetä koulutukseen. Kielimalleihin perustuvat työkalumme toimivat ympäristöissä, joita hallitsemme itse.
Kattaako tämä EU:n tekoälysäädöksen vaatimukset?
Hyökkäystestaus on yksi toimenpiteistä, joihin säädös viittaa tiettyjen järjestelmien ja mallien osalta. Raportti dokumentoi menetelmän, laajuuden ja tulokset muodossa, joka kelpaa näytöksi. Se, sovelletaanko säädöstä järjestelmääsi ja miten, on oikeudellinen kysymys, johon emme vastaa.
REST-, GraphQL-, gRPC- ja WebSocket-rajapintojen testaus: puutteelliset käyttöoikeustarkistukset, tietojen paljastuminen ja liiketoimintaprosessien väärinkäyttö.