Tests von LLM-Anwendungen, Agenten und MCP-Integrationen aus Sicht eines Angreifers: Prompt Injection, Abfluss von Daten, Missbrauch von Tools und Ausbruch aus der vorgesehenen Aufgabe.
Eine Anwendung auf Basis eines Sprachmodells nimmt Anweisungen aus allem entgegen, was sie liest: vom Benutzer, aus einem abgerufenen Dokument, aus dem Inhalt einer Seite im Internet, aus der Ausgabe eines Tools. Die Anwendung kann eine Anweisung nicht zuverlässig von Daten unterscheiden. Sobald das Modell Tools aufrufen, Nachrichten senden oder in eine Datenbank schreiben kann, wird ein in einem Dokument versteckter Satz zu einer Aktion in Ihren Systemen.
Wir testen die gesamte Anwendung und nicht nur das Modell: die Prompts, die Retrieval-Pipeline, die Tools und ihre Berechtigungen, die Agenten und die Protokolle, die sie verbinden. Die Frage ist, was ein Angreifer das System tun, lesen oder preisgeben lassen kann und ob die Schutzmaßnahmen rund um das Modell halten, wenn das Modell selbst versagt.
01Umfang
Was wir testen
Direkte und indirekte Prompt Injection über jede Eingabe, die das Modell liest
Preisgabe von System-Prompts, Geheimnissen und Daten anderer Benutzer oder Mandanten
Retrieval-Augmented Generation: Poisoning, Zugriffskontrolle des Dokumentenspeichers
Tools und Function Calling: übermäßige Berechtigungen, unsichere Parameter, Confused Deputy
Agenten: Goal Hijacking, Memory Poisoning, unsichere Autonomie, Vertrauen zwischen Agenten
Server für das Model Context Protocol: Authentifizierung, Tool Poisoning, Ausführung von Befehlen
Verarbeitung der Ausgaben: Injection in Browser, Shells, Abfragen und nachgelagerte Systeme
Guardrails und Filter: Umgehung durch Kodierung, Sprache, Rollenspiel und Angriffe über mehrere Dialogrunden
Ressourcenverbrauch und Missbrauch, der Kosten verursacht
02Vorgehen
Wie die Arbeit abläuft
01
Prüfung der Architektur
Wir erfassen, was das Modell liest, was es aufrufen kann und mit wessen Berechtigungen. Die meisten kritischen Befunde sind schon in dieser Phase als fehlende Vertrauensgrenze sichtbar.
02
Tests aus Angreifersicht
Eingaben werden von Hand ausgearbeitet und in großer Zahl erzeugt, gegen jeden Kanal, über den etwas zum Modell gelangt. Ein erfolgreicher Angriff wird auf die kleinste Eingabe reduziert, die ihn reproduziert.
03
Missbrauch von Tools und Agenten
Mit eingeschleusten Anweisungen steuern wir Tools und Agenten: um zu lesen, was nicht lesbar sein sollte, um im Namen eines anderen Benutzers zu handeln, um von einem System zum nächsten zu gelangen.
04
Prüfung der Schutzmaßnahmen
Filter, Guardrails und Freigabeschritte werden einzeln getestet. Der Bericht hält fest, welche Schutzmaßnahme welchen Angriff gestoppt hat und welche keinen.
Schweregrad jedes Befunds als Punktwert und Vektor.
FIRST
06Fragen
Fragen zu dieser Leistung
Testen Sie das Modell oder die Anwendung?
Die Anwendung. Für die Sicherheit des Basismodells ist sein Anbieter verantwortlich. Was Sie kontrollieren und was Angreifer ausnutzen, ist die Art, wie das Modell mit Ihren Daten und Ihren Tools verbunden ist.
Prompt Injection lässt sich nicht vollständig beheben. Wozu sie dann suchen?
Um zu wissen, was aus ihr folgt. Führt eine Injection zu einer falschen Antwort, ist das ein Qualitätsproblem. Führt sie dazu, dass eine E-Mail im Namen des Benutzers gesendet wird, ist das eine Schwachstelle in den Berechtigungen rund um das Modell, und diese lässt sich beheben.
Nutzen Sie unsere Daten, um externe KI-Dienste zu trainieren oder mit Prompts zu versorgen?
Nein. Daten von Kunden, Prompts und Befunde werden nicht an öffentliche KI-Dienste übermittelt und nicht für Training verwendet. Werkzeuge, die auf Sprachmodellen beruhen, laufen in Umgebungen, die wir kontrollieren.
Deckt das Anforderungen der KI-Verordnung der EU ab?
Tests aus Angreifersicht sind eine der Maßnahmen, auf die die Verordnung für bestimmte Systeme und Modelle verweist. Der Bericht dokumentiert Methode, Prüfumfang und Ergebnisse in einer Form, die sich als Nachweis eignet. Ob und wie die Verordnung auf Ihr System anwendbar ist, ist eine Rechtsfrage, die wir nicht beantworten.