Состязательное тестирование LLM-приложений, агентов и интеграций MCP: prompt injection, утечки данных, злоупотребление инструментами, выход за рамки задачи.
Приложение на основе языковой модели принимает инструкции из всего, что читает: от пользователя, из найденного документа, из содержимого веб-страницы, из ответа инструмента. Надёжно отличить инструкцию от данных оно не может. Как только модель получает возможность вызывать инструменты, отправлять сообщения или писать в базу данных, фраза, спрятанная в документе, становится действием в ваших системах.
Мы тестируем приложение целиком, а не только модель: промпты, конвейер поиска, инструменты и их права, агентов и протоколы, которые их связывают. Вопрос в том, что злоумышленник может заставить систему сделать, прочитать или раскрыть и выдержат ли меры защиты вокруг модели, когда сама модель не выдержит.
01Объём
Что мы проверяем
Прямая и косвенная prompt injection через каждый источник, который читает модель
Раскрытие системных промптов, секретов и данных других пользователей или арендаторов
RAG: отравление данных, разграничение доступа к хранилищу документов
Инструменты и вызов функций: избыточные права, небезопасные параметры, confused deputy
Агенты: подмена цели, отравление памяти, небезопасная автономность, доверие между агентами
Серверы Model Context Protocol: аутентификация, отравление инструментов, выполнение команд
Обработка вывода: инъекции в браузер, командную оболочку, запросы и смежные системы
Защитные фильтры: обход через кодирование, язык, ролевые сценарии и многоходовые атаки
Потребление ресурсов и злоупотребление стоимостью
02Подход
Как выполняется работа
01
Анализ архитектуры
Выясняем, что модель читает, что может вызывать и с чьими правами. Большинство критических находок видно уже здесь — как отсутствующая граница доверия.
02
Состязательное тестирование
Входные данные составляются вручную и генерируются в большом объёме для каждого канала, ведущего к модели. Успешная атака сводится к минимальному входу, который её воспроизводит.
03
Злоупотребление инструментами и агентами
С помощью внедрённых инструкций управляем инструментами и агентами: читаем то, что должно быть недоступно, действуем от имени другого пользователя, переходим из одной системы в другую.
04
Проверка мер защиты
Фильтры, ограничители и шаги подтверждения тестируются по отдельности. В отчёте указано, какая мера остановила какую атаку и какая не остановила ни одной.
Приложение. За безопасность базовой модели отвечает её поставщик. То, что контролируете вы и чем пользуются злоумышленники, — это способ подключения модели к вашим данным и инструментам.
Prompt injection нельзя устранить полностью. Какой смысл её искать?
Смысл в том, чтобы знать её последствия. Если инъекция приводит к неверному ответу, это вопрос качества. Если она приводит к письму, отправленному от имени пользователя, это уязвимость в правах вокруг модели, и её можно устранить.
Вы используете наши данные для обучения или запросов к внешним AI-сервисам?
Нет. Данные заказчика, промпты и находки не передаются в публичные AI-сервисы и не используются для обучения. Инструменты на основе языковых моделей работают в средах, которые контролируем мы.
Это закрывает требования EU AI Act?
Состязательное тестирование — одна из мер, на которые Регламент ссылается для отдельных систем и моделей. Отчёт фиксирует метод, объём и результаты в виде, пригодном в качестве доказательства. Применим ли Регламент к вашей системе и как именно — юридический вопрос, на который мы не отвечаем.