Профессиональная конференция для Go-разработчиков

Как мы сэкономили бюджет на облачные ресурсы, используя масштабирование и самописный плагин для разворачивания стендов

Эксплуатация систем

CTO-трек, инженерная культура / Инфраструктура разработки

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Ребята на реальном примере показывают, как можно «программировать» процесс масштабирования сложных систем, чтобы оптимизировать затраты на инфраструктуру. В выступлении будет подробный рассказ, как они это делали и что у них получилось.

Целевая аудитория

DevOps-/SRE-инженеры, руководители инфраструктуры.

Тезисы

Разработка рекомендательной платформы с использованием ML SOTA-алгоритмов требует больших CPU/RAM-вычислительных ресурсов. К примеру, на одном из экземпляров нашей рекомендательной платформы до оптимизации использовалось ~ 930 CPU/4,7 Tb RAM только на ML.

Мы расскажем, как при помощи динамического выделения стендов/ресурсов на базе технологий Node Autoscaler, HPA, самописного плагина для автоматического развертывания стендов можно повысить эффективность разработки, сэкономив до 30% стоимости. При этом сохранить темпы роста количества разрабатываемых фич и количества партнёров и сделать так, чтобы разработчики, в том числе и DS, могли проводить свои эксперименты, не мешая друг другу в облаке Cloud.ru.

О чем пойдёт речь:
1. О нашей рекомендательной системе и основном техническом стеке.
2. Как мы сделали feature-окружения для разработки моделей.
3. Как мы настроили масштабируемую систему в облаке для сокращения стоимости и в результате получили до 30% суммарной экономии на всех стендах.

Более 10 лет опыта работы в IT в различных сферах: QA, инфраструктура, DevOps. На данный момент занимается развитием рекомендательной системы и отвечает за стратегию развития DevOps, окружения для разработки продукта и процессы СI/CD.

Сбер

Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У нас около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Мы работаем над созданием удобных онлайн-сервисов в самых разных сферах.

Общий стаж в разработке более 9 лет. Последние 3 года работает в Сбере, где занимается разработкой CI/CD-пайплайнов для back-/front-/DS-инженеров, построением масштабируемых систем в облаке, развивает культуру DevOps.

Сбер

Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У нас около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Мы работаем над созданием удобных онлайн-сервисов в самых разных сферах.

Видео