Профессиональная конференция для Go-разработчиков

Адаптация архитектуры и инфраструктуры национального видеохостинга RUTUBE при увеличении количества видео с 50 до 250 миллионов за год

Архитектура

Доклад отклонён

Целевая аудитория

Архитекторы программного обеспечения, инженеры DevOps, системные администраторы

Тезисы

Адаптация архитектуры и инфраструктуры национального видеохостинга RUTUBE при увеличении количества видео с 50 до 250 миллионов единиц за год
Функциональность высоконагруженных сервисов: обработка и хранение большого объёма контента — в среднем 300 тысяч видео от пользователей
Проблемы при масштабировании инфраструктуры и разработка гибридного хранилища на основе Amazon S3
Сбои Amazon S3 при повышенной нагрузке — ошибки загрузки и чтения контента
Разработка собственного решения и оптимизация под инфраструктуру национального видеохостинга RUTUBE

Занимался развитием highload-систем в компаниях в крупных международных и российских компаниях Iponweb, Maykor, АйТи (it.ru). Имеет десятки международных сертификатов, в т.ч.: IBM, Red Hat, VMware.

В RUTUBE работаю с января 2020, а с июля 2022 года назначен на должность Технического Директора. За полгода была протегирована вся база видео с помощью разработанной CV-модели, по аналогии с Youtube-8M, что позволило построить систему рекомендаций; реализован ML-Переход со sphinx на elastic, что позволило значительно увеличить CTR поисковой системы; внедрен геораспредленных ЦОД с режимами мультимастер для масштабирования платформы; Смена протокола на более производительный http3/quic и кодек AV1/VP9. Также для оперативного масштабирования и восстановления в случае сбоев были внедрены современные платформы виртуализации и облачные технологии на основе Openstack; выполнен переход на оркестратор Kubernetes; внедрены подходы «infrastructureas a code» и Devops; автоматизированы все процессы развертывания серверов и сервисов.

RUTUBE

Национальный видеохостинг RUTUBE (входит в «Газпром-Медиа Холдинг») — это крупнейшая российская платформа для просмотра и размещения аудио- и видеороликов. RUTUBE доступен на разных устройствах: ПК, смартфоне, планшете, Smart TV. На платформе представлены UGC, эксклюзивные проекты RUTUBE, видео СМИ и государственных организаций, лицензионные шоу, фильмы и сериалы. Поддерживаемые форматы: горизонтальные и вертикальные видео, стримы, подкасты, ТВ-эфиры.

Видео

Другие доклады секции

Архитектура