Адаптация архитектуры и инфраструктуры национального видеохостинга RUTUBE при увеличении количества видео с 50 до 250 миллионов за год
Доклад отклонён
Целевая аудитория
Тезисы
Адаптация архитектуры и инфраструктуры национального видеохостинга RUTUBE при увеличении количества видео с 50 до 250 миллионов единиц за год
Функциональность высоконагруженных сервисов: обработка и хранение большого объёма контента — в среднем 300 тысяч видео от пользователей
Проблемы при масштабировании инфраструктуры и разработка гибридного хранилища на основе Amazon S3
Сбои Amazon S3 при повышенной нагрузке — ошибки загрузки и чтения контента
Разработка собственного решения и оптимизация под инфраструктуру национального видеохостинга RUTUBE
Занимался развитием highload-систем в компаниях в крупных международных и российских компаниях Iponweb, Maykor, АйТи (it.ru). Имеет десятки международных сертификатов, в т.ч.: IBM, Red Hat, VMware.
В RUTUBE работаю с января 2020, а с июля 2022 года назначен на должность Технического Директора. За полгода была протегирована вся база видео с помощью разработанной CV-модели, по аналогии с Youtube-8M, что позволило построить систему рекомендаций; реализован ML-Переход со sphinx на elastic, что позволило значительно увеличить CTR поисковой системы; внедрен геораспредленных ЦОД с режимами мультимастер для масштабирования платформы; Смена протокола на более производительный http3/quic и кодек AV1/VP9. Также для оперативного масштабирования и восстановления в случае сбоев были внедрены современные платформы виртуализации и облачные технологии на основе Openstack; выполнен переход на оркестратор Kubernetes; внедрены подходы «infrastructureas a code» и Devops; автоматизированы все процессы развертывания серверов и сервисов.
RUTUBE
Видео
Другие доклады секции
Архитектура