Корпоративный шлюз к LLM

Инструменты и фреймворки

API

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

Менеджеры и инженеры, которые внедряют LLM в корпоративные продукты.

Тезисы

С ростом популярности LLM перед инженерами встают задачи управления доступом, контроля затрат и мониторинга использования. За время разработки LLM Proxy мы накопили опыт построения централизованного gateway для работы с языковыми моделями.

Гусев Илья Вадимович

Т-Банк

7 лет в IT. Прошёл путь от backend-разработчика до techlead. В ГК DOGMA, одном из топ-5 застройщиков страны, строил и масштабировал ключевые системы для онлайн-покупки недвижимости и платформенные решения. Сейчас — старший Golang-разработчик в Т‑Банке, где участвует в создании и развитии платформы для LLM-продуктов. Увлекается спортом и фотографией.