Атаки на AI-чат-боты и методы защиты

Нейронные сети, искусственный интеллект

Безопасность программного кода, SQL и прочие инъекции
Machine Learning
Application security
Безопасность

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Чем больше LLM проникает в нашу жизнь, тем острее встают вопросы безопасности. Вариативность атак меняется не просто быстро, а очень быстро. Из доклада вы получите полное представление о текущем состоянии атак на LLM и научитесь идентифицировать потенциальные уязвимости в своих приложениях.

Целевая аудитория

Разработчики чат-ботов на базе больших языковых моделей LLM, руководители ИБ и СТО компаний, которые начали внедрять AI.

Тезисы

В докладе рассмотрим новые виды атак на чат-боты, использующие LLM. Разберем, как обходят safety layer моделей, как работают prompt injection и разные виды jailbreak. Разберем виды и классификации атак по разным фреймворкам. Обсудим, почему OWASP создали 3 отдельных гайда по LLM Security. На докладе будет представлен чек-лист, которым можно пользоваться перед запуском приложений в прод.

Виды атак, которые будут изучены: adversarial атаки с суффиксами, конкатенация промптов, отравление обучающей выборки, уязвимости библиотек и supply chain, уязвимости AI-фреймворков.

Имеет опыт работы в проектах Microsoft, Google и Сбер, где занимался внедрением сложных технологических решений в различные отрасли от финтеха до медицины. Выводил на рынок специализированные продукты для маркетплейсов AWS, PowerBI, Slack, и Atlassian. Сейчас фокусируется на изучении аспектов безопасности ИИ и разработке мер защиты для ИИ-приложений.

Raft

В Raft разрабатывают и интегрируют решения с использованием новейших AI-технологий. Миссия компании — быть лидером индустрии внедрения AI, создавая инновационные решения, которые помогают клиентам получить значимые результаты для их бизнеса.

Видео