OWASP Top 10 для LLM: разбор угроз и контрмер
OWASP Top 10 для LLM-приложений — это перечень самых критичных рисков, специфичных для систем на больших языковых моделях: от внедрения вредоносных инструкций в промпт до утечки чувствительных данных и злоупотребления полномочиями автономного агента. Это не «ещё один список уязвимостей», а карта угроз для нового класса систем, где граница между данными и командами размыта, а поведение модели вероятностно. **Если коротко:** классический периметр (WAF, сетевой экран, контроль доступа) не закрывает LLM-специфичные риски. Нужны отдельные контрмеры — валидация ввода и вывода, изоляция полномочий, контроль источников данных обучения и человек в контуре для опасных действий. Ниже разбираем ключевые категории OWASP Top 10 для LLM и контрмеры к ним, а сравнить поставщиков guardrails и AI Security можно в [рейтинге AI и LLM Security](/rating/ai-llm-security).
Визуальный контекст исследования
Изображение помогает быстро считать тему материала: инфраструктура, данные, доступы и контрольные точки, которые важно проверить перед выбором решения.
Рейтинги подрядчиков по теме исследования
Если после чтения нужен короткий список исполнителей, начните с профильных рейтингов cyber-index.ru: в них видны компании, кейсы, интервью, категории экспертизы и доверительный индекс.
Как проверять выводы исследования
Используйте материал как основу для shortlist: сопоставьте выводы с профилями компаний, связанными рейтингами, кейсами, интервью клиентов и источниками. Если в статье есть список источников, начинайте проверку с него; если источников мало, дополнительно запросите у подрядчика методику, baseline и примеры работ.
Авторы и проверка материала
У каждого исследования есть персональные авторы, профиль экспертизы, дата публикации, список источников и редакционная проверка выводов.
author
Антон Смирнов
Старший редактор исследований ИБ-рынка
Ведет исследования по категориям ИБ, публичным источникам и критериям выбора поставщиков.
- 7 лет в SEO-аналитике и редакционных B2B-исследованиях
- Специализация: ИБ-категории, entity-based SEO и факторы E-E-A-T
author
Полина Лебедева
Исследователь рынка ИБ-поставщиков
Собирает и сравнивает данные по подрядчикам, услугам, публичным кейсам, ценовым диапазонам и рыночным сегментам.
- 5 лет в market research, digital-аналитике и конкурентных обзорах
- Специализация: ИБ-поставщики, сервисные категории, прайс-анализ и case review
Авторы закреплены по теме исследования и опираются на практические разборы страниц, кейсов, источников и рыночных выборок.
В профиле автора указаны зона экспертизы, роль в редакции, регалии и темы, за которые он отвечает.
Материалы связаны с методологией cyber-index.ru, внутренними рейтингами, карточками компаний и источниками.
Позиции не продаются, выводы отделены от рекламы, а проверяемые утверждения поддержаны источниками и датами обновления.
Почему для LLM нужен отдельный список угроз
Традиционные методики (OWASP Top 10 для веб-приложений, ASVS) описывают мир, где код, данные и команды разделены. В LLM-приложениях это разделение исчезает: модель получает на вход текст, в котором инструкции разработчика, контекст из базы знаний и данные от пользователя перемешаны в одном потоке. Атакующему достаточно «уговорить» модель словами — не нужны эксплойты памяти или SQL-инъекции в привычном виде.
Добавьте к этому вероятностную природу вывода (один и тот же промпт даёт разные ответы), непрозрачность модели и моду на автономных агентов с доступом к инструментам — и получится поверхность атаки, которую старые контроли не покрывают. Именно поэтому OWASP Foundation ведёт отдельный проект **Top 10 для LLM-приложений**: он систематизирует риски и даёт разработчикам общий язык для их обсуждения и приоритизации.
OWASP Top 10 для LLM: коротко о сути
Полный перечень — на owasp.org
Внедрение инструкций через ввод и данные
Модель не отличает контекст от приказа
Валидация ввода + вывода + изоляция полномочий
Ключевые категории рисков и как они работают
Ниже — разбор основных категорий из перечня OWASP. Это не замена первоисточнику: точные формулировки и нумерацию сверяйте на [странице проекта OWASP](https://owasp.org/www-project-top-10-for-large-language-model-applications/), поскольку список периодически пересматривается. Цель — показать суть каждой угрозы и направление контрмеры.
| Риск OWASP для LLM | Суть угрозы | Ключевая контрмера |
|---|---|---|
| Внедрение в промпт (Prompt Injection) | Атакующий через ввод или внешние данные подменяет инструкции модели, обходя ограничения | Разделение системных и пользовательских инструкций, фильтрация ввода, изоляция недоверенного контента |
| Небезопасная обработка вывода (Insecure Output Handling) | Ответ модели без проверки попадает в браузер, shell, SQL или другой компонент и выполняется | Экранирование и валидация вывода, обращение с ответом модели как с недоверенным вводом |
| Отравление данных обучения (Training Data Poisoning) | В обучающую/дообучающую выборку попадают вредоносные данные, искажающие поведение модели | Контроль происхождения данных, проверка источников, песочница и валидация датасетов |
| Отказ в обслуживании модели (Model DoS) | Ресурсоёмкие запросы исчерпывают вычисления и бюджет, делая сервис недоступным или дорогим | Лимиты на длину ввода и контекст, rate limiting, квоты и мониторинг потребления |
| Уязвимости цепочки поставок (Supply Chain) | Скомпрометированные сторонние модели, датасеты, плагины и библиотеки несут скрытые риски | Проверка и подпись артефактов, SBOM, оценка поставщиков моделей и компонентов |
| Утечка чувствительных данных (Sensitive Information Disclosure) | Модель раскрывает в ответах персональные данные, секреты или внутреннюю информацию из контекста | Очистка обучающих и контекстных данных, фильтрация вывода, минимизация передаваемого контекста |
| Небезопасный дизайн плагинов (Insecure Plugin Design) | Плагины принимают непроверенные параметры и дают модели избыточный доступ к действиям | Строгая типизация и валидация входов плагинов, минимальные права, подтверждение операций |
| Чрезмерные полномочия агента (Excessive Agency) | Автономный агент получает слишком широкие права/инструменты и совершает опасные действия | Принцип наименьших привилегий, ограничение набора инструментов, человек в контуре |
| Чрезмерное доверие к выводу (Overreliance) | Люди принимают галлюцинации и ошибки модели за истину без проверки | Маркировка ИИ-ответов, проверяемые источники, контроль критичных решений человеком |
| Кража модели (Model Theft) | Несанкционированный доступ или экстракция параметров приводит к утечке проприетарной модели | Контроль доступа к весам, мониторинг аномальных запросов, защита инфраструктуры хранения |
Где сосредоточена сложность защиты по категориям
Усреднённая редакционная оценка трудоёмкости контрмер по классам рисков на основе открытых материалов OWASP. Это не измерение реальной частоты атак и не заменяет threat-моделирование вашего приложения.
Контрмеры: что работает на практике
Защита LLM-приложения строится эшелонированно — ни одна мера не закрывает риск целиком. Базовый набор, который стоит закладывать в архитектуру с самого начала:
- **Обращайтесь с выводом модели как с недоверенным вводом.** Любой ответ перед передачей в браузер, shell, базу данных или другой сервис экранируйте и валидируйте — это снимает целый класс рисков небезопасной обработки вывода. - **Изолируйте недоверенный контент в промпте.** Разделяйте системные инструкции и пользовательские/внешние данные, помечайте источник, не давайте модели исполнять команды из данных RAG напрямую. - **Минимизируйте полномочия агента.** Давайте ровно тот набор инструментов и прав, что нужен задаче; опасные операции — через подтверждение человеком (human-in-the-loop). - **Контролируйте данные и цепочку поставок.** Проверяйте происхождение датасетов и сторонних моделей/плагинов, ведите учёт компонентов, подписывайте артефакты. - **Фильтруйте чувствительные данные на входе и выходе.** Минимизируйте контекст, очищайте PII и секреты, не передавайте модели больше, чем нужно для ответа. - **Наблюдаемость и лимиты.** Логирование запросов и ответов, rate limiting, квоты на контекст и токены против отказа в обслуживании и аномального поведения.
Чек-лист защиты LLM-приложения по OWASP
Как внедрить контрмеры: 5 шагов
-
01
Моделирование угроз
Опишите потоки данных приложения, точки ввода, источники RAG и набор инструментов агента — соотнесите их с категориями OWASP для LLM.
-
02
Базовая гигиена
Закройте «дешёвые» риски: валидация вывода, лимиты, очистка чувствительных данных, разделение системных и пользовательских инструкций.
-
03
Изоляция полномочий
Сократите права агента и плагинов до минимума, опасные действия выведите через подтверждение человеком.
-
04
Контроль данных и поставки
Зафиксируйте проверку источников данных обучения и сторонних моделей/компонентов, подпись и учёт артефактов.
-
05
Наблюдаемость и проверка
Внедрите логирование, алерты и регулярное тестирование (включая prompt injection), периодически сверяйтесь с актуальным списком OWASP.
Как мы оцениваем поставщиков AI Security
cyber-index.ru не продаёт места в рейтинге. Поставщики решений AI Security и guardrails для LLM сравниваются по проверяемым сигналам: подтверждённые внедрения и кейсы, отзывы клиентов, внешняя репутация, специализация, прозрачность и свежесть данных. Поэтому статью стоит читать в связке с [рейтингом AI и LLM Security](/rating/ai-llm-security): здесь — карта угроз и контрмер, там — сравнение конкретных компаний по подтверждённым фактам.
Следующий шаг
Разобрались с картой угроз — переходите к выбору решений: **[рейтинг AI и LLM Security →](/rating/ai-llm-security)**. Полезно прочитать рядом: [AI TRiSM и LLM Security: защита от prompt injection](/research/ai-trism-llm-security-osnovy), [как выбрать платформу AI Security и guardrails](/research/kak-vybrat-ai-security-platformu) и [рейтинг решений AI Security 2026](/research/reyting-ai-llm-security-2026).
Частые вопросы
Что такое OWASP Top 10 для LLM?
Это перечень десяти самых критичных рисков безопасности, специфичных для приложений на больших языковых моделях, который ведёт OWASP Foundation. Он систематизирует угрозы — от внедрения в промпт до утечки данных и чрезмерных полномочий агента — и даёт разработчикам общий язык для их оценки. Актуальную версию смотрите на owasp.org.
Чем prompt injection отличается от обычной инъекции?
В классических инъекциях (SQL, командных) атакующий ломает синтаксис кода. В prompt injection нет «кода» в привычном смысле: модель не отличает инструкции разработчика от данных, и злоумышленник управляет ею обычным текстом — через ввод или подменённый внешний контент, например в источниках RAG.
Защищает ли WAF или сетевой экран от рисков OWASP для LLM?
Частично и косвенно. Периметровые средства не понимают семантику промпта и вывода модели, поэтому не закрывают prompt injection, утечку данных или злоупотребление полномочиями агента. Нужны отдельные LLM-специфичные контрмеры: валидация ввода/вывода, изоляция полномочий, контроль данных.
Что такое чрезмерные полномочия агента (Excessive Agency)?
Это риск, когда автономному ИИ-агенту дают слишком широкий доступ к инструментам и действиям. При ошибке или манипуляции он способен совершить необратимые операции — удалить данные, отправить деньги, изменить настройки. Контрмера — принцип наименьших привилегий и подтверждение опасных действий человеком.
С чего начать защиту LLM-приложения?
С моделирования угроз: опишите потоки данных и сопоставьте их с категориями OWASP. Затем закройте базовую гигиену (валидация вывода, лимиты, очистка чувствительных данных) и сократите полномочия агента. Сравнить готовые платформы guardrails можно в рейтинге AI и LLM Security.
Источники и метод проверки
OWASP Top 10 для LLM-приложений — это перечень самых критичных рисков, специфичных для систем на больших языковых моделях: от внедрения вредоносных инструкций в промпт до утечки чувствительных данных и злоупотребления полномочиями автономного агента. Это не «ещё один список уязвимостей», а карта угроз для нового класса систем, где граница между данными и командами размыта, а поведение модели вероятностно. **Если коротко:** классический периметр (WAF, сетевой экран, контроль доступа) не закрывает LLM-специфичные риски. Нужны отдельные контрмеры — валидация ввода и вывода, изоляция полномочий, контроль источников данных обучения и человек в контуре для опасных действий. Ниже разбираем ключевые категории OWASP Top 10 для LLM и контрмеры к ним, а сравнить поставщиков guardrails и AI Security можно в [рейтинге AI и LLM Security](/rating/ai-llm-security).