Евгений Кокуйкин на GolangConf 2024

Атаки на AI-чат-боты и методы защиты

Нейронные сети, искусственный интеллект

Безопасность программного кода, SQL и прочие инъекции

Machine Learning

Application security

Безопасность

24 июня, 12:30, «Зал 06 - Зеленый»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Чем больше LLM проникает в нашу жизнь, тем острее встают вопросы безопасности. Вариативность атак меняется не просто быстро, а очень быстро. Из доклада вы получите полное представление о текущем состоянии атак на LLM и научитесь идентифицировать потенциальные уязвимости в своих приложениях.

Целевая аудитория

Разработчики чат-ботов на базе больших языковых моделей LLM, руководители ИБ и СТО компаний, которые начали внедрять AI.

Тезисы

В докладе рассмотрим новые виды атак на чат-боты, использующие LLM. Разберем, как обходят safety layer моделей, как работают prompt injection и разные виды jailbreak. Разберем виды и классификации атак по разным фреймворкам. Обсудим, почему OWASP создали 3 отдельных гайда по LLM Security. На докладе будет представлен чек-лист, которым можно пользоваться перед запуском приложений в прод.

Виды атак, которые будут изучены: adversarial атаки с суффиксами, конкатенация промптов, отравление обучающей выборки, уязвимости библиотек и supply chain, уязвимости AI-фреймворков.

Евгений Кокуйкин

Raft

Имеет опыт работы в проектах Microsoft, Google и Сбер, где занимался внедрением сложных технологических решений в различные отрасли от финтеха до медицины. Выводил на рынок специализированные продукты для маркетплейсов AWS, PowerBI, Slack, и Atlassian. В настоящее время разрабатывает инновационные решения на базе LLM.

Raft

Raft специализируется на разработке приложений на основе генеративного ИИ, применяя такие технологии, как YandexGPT-2, ChatGTP и Llama-2. Занимаются созданием решений для защиты приложений на генеративном ИИ от потенциальных угроз и разрабатывают свои продукты. Главный продукт — AudioInsights. Этот инструмент предназначен для анализа качества обслуживания в продажах и клиентской поддержке. Ежемесячно он обрабатывает сотни тысяч диалогов в таких сферах, как автобизнес, финтех и медицина.