0 added
0 removed
Original
2026-01-01
Modified
2026-02-19
1
<p>LLM уже давно помогает нам делать свою работу: собирает логи, генерирует скрипты и даже пишет за нас имейлы. Но вместе с этим нам следует помнить, что у развивающегося инструмента есть свои слабые места.</p>
1
<p>LLM уже давно помогает нам делать свою работу: собирает логи, генерирует скрипты и даже пишет за нас имейлы. Но вместе с этим нам следует помнить, что у развивающегося инструмента есть свои слабые места.</p>
2
<p><strong>Что происходит</strong></p>
2
<p><strong>Что происходит</strong></p>
3
<p>Prompt Injection - это атака, при которой кто-то (или что-то) заставляет LLM нарушить её системные инструкции. Опасность в том, что теперь модели работают прямо в пайплайнах, IDE и CLI и могут реально менять поведение инфраструктуры.</p>
3
<p>Prompt Injection - это атака, при которой кто-то (или что-то) заставляет LLM нарушить её системные инструкции. Опасность в том, что теперь модели работают прямо в пайплайнах, IDE и CLI и могут реально менять поведение инфраструктуры.</p>
4
<p>В конце прошлого года OWASP поставили Prompt Injection на лидирующую позицию в LLM Top 10. Атаки уже не теоретические. Например, из недавнего:</p>
4
<p>В конце прошлого года OWASP поставили Prompt Injection на лидирующую позицию в LLM Top 10. Атаки уже не теоретические. Например, из недавнего:</p>
5
<p>• В Amazon Q for VS Code нашли prompt-инъекции, генерирующие вредоносные команды</p>
5
<p>• В Amazon Q for VS Code нашли prompt-инъекции, генерирующие вредоносные команды</p>
6
<p>• В M365 Copilot зафиксировали так называемый "EchoLeak" - zero-click prompt-инъекцию, которая заставляла модель пересылать чувствительные данные злоумышленнику из email-контента</p>
6
<p>• В M365 Copilot зафиксировали так называемый "EchoLeak" - zero-click prompt-инъекцию, которая заставляла модель пересылать чувствительные данные злоумышленнику из email-контента</p>
7
<p><strong>Инъекции глобально можно разделить на 2 типа:</strong></p>
7
<p><strong>Инъекции глобально можно разделить на 2 типа:</strong></p>
8
<p>1. Прямые (когда злоумышленник напрямую пишет "Игнорируй правила и сделай XYZ")</p>
8
<p>1. Прямые (когда злоумышленник напрямую пишет "Игнорируй правила и сделай XYZ")</p>
9
<p>2. Косвенные (когда вредоносная инструкция скрыта в данных: пользовательских запросах, конфигах)</p>
9
<p>2. Косвенные (когда вредоносная инструкция скрыта в данных: пользовательских запросах, конфигах)</p>
10
<p>В DevOps вторая категория опаснее: LLM может самостоятельно вычитать вредоносный кусок из конфига и выполнить его без вашего ведома</p>
10
<p>В DevOps вторая категория опаснее: LLM может самостоятельно вычитать вредоносный кусок из конфига и выполнить его без вашего ведома</p>
11
<p><strong>Как защищаться</strong></p>
11
<p><strong>Как защищаться</strong></p>
12
<p>1. Следуйте принципу наименьших привилегий - модель не должна иметь прав на выполнение команд в важных сервисах или в проде. Желательно выделять ей отдельную безопасную среду выполнения</p>
12
<p>1. Следуйте принципу наименьших привилегий - модель не должна иметь прав на выполнение команд в важных сервисах или в проде. Желательно выделять ей отдельную безопасную среду выполнения</p>
13
<p>2. Не забывайте про санитизацию ввода/вывода - проверяйте, что в модель не попали чувствительные данные. А также проверяйте вывод, чтобы модель случайно не посоветовала сделать rm -rf</p>
13
<p>2. Не забывайте про санитизацию ввода/вывода - проверяйте, что в модель не попали чувствительные данные. А также проверяйте вывод, чтобы модель случайно не посоветовала сделать rm -rf</p>
14
<p>3. Разделите роли - окружайте пользовательский ввод своими системными инструкциями</p>
14
<p>3. Разделите роли - окружайте пользовательский ввод своими системными инструкциями</p>
15
<p>4. Внедрите Guard-агента - пусть в пайплайне будет дополнительный запрос к LLM, проверяющий ответ на опасные паттерны</p>
15
<p>4. Внедрите Guard-агента - пусть в пайплайне будет дополнительный запрос к LLM, проверяющий ответ на опасные паттерны</p>
16
<p>5. Следуйте принципу "Human in the loop" - всё, что может повлиять на инфраструктуру, требует подтверждения человека-инженера</p>
16
<p>5. Следуйте принципу "Human in the loop" - всё, что может повлиять на инфраструктуру, требует подтверждения человека-инженера</p>
17
<p>Хотя все это и звучит страшно и не очень обнадеживающе, мы с вами не отказываемся, например, от использования машин, потому что на них можно попасть в аварию. Prompt Injection - часть механики взаимодействия с ИИ. Следуя основным правилам защиты, вполне реально обезопасить себя, свой код и свою инфру</p>
17
<p>Хотя все это и звучит страшно и не очень обнадеживающе, мы с вами не отказываемся, например, от использования машин, потому что на них можно попасть в аварию. Prompt Injection - часть механики взаимодействия с ИИ. Следуя основным правилам защиты, вполне реально обезопасить себя, свой код и свою инфру</p>
18
<p>Если хотите не просто знать о проблемах, а научиться правильно внедрять AI в DevOps-процессы - приглашаем на курс "AI в DevOps", где мы разбираем:</p>
18
<p>Если хотите не просто знать о проблемах, а научиться правильно внедрять AI в DevOps-процессы - приглашаем на курс "AI в DevOps", где мы разбираем:</p>
19
<p>- Безопасное использование LLM в пайплайнах</p>
19
<p>- Безопасное использование LLM в пайплайнах</p>
20
<p>- Защиту от prompt injection и других угроз</p>
20
<p>- Защиту от prompt injection и других угроз</p>
21
<p>- Локальные LLM и приватные RAG-системы</p>
21
<p>- Локальные LLM и приватные RAG-системы</p>
22
<p>- Интеграцию AI в мониторинг и CI/CD</p>
22
<p>- Интеграцию AI в мониторинг и CI/CD</p>
23
<p>Старт потока 20 октября. Подробности -<a>по ссылке</a></p>
23
<p>Старт потока 20 октября. Подробности -<a>по ссылке</a></p>