Построение крупнейшего CDN на территории РФ и стран СНГ — опыт национального видеохостинга RUTUBE
Доклад принят в программу конференции
Целевая аудитория
Тезисы
Особенности создания anycast-сети с протоколом BGP в рамках построения CDN национального видеохостинга RUTUBE:
• Дублирование информации с площадки и быстрая раздача на территории РФ и стран СНГ;
• Контроль баланса нагрузки: настройка серверов и использование multicast-маршрутизации.
Увеличение ёмкости глобального CDN национального видеохостинга RUTUBE с 1,5 до 5 Тбит за год
Разработка плана построения крупнейшего CDN на территории РФ и стран СНГ с ёмкостью 10 Тбит к концу 2024 года — опыт национального видеохостинга RUTUBE
Проблемы при построении крупнейшего CDN на территории РФ и стран СНГ:
• Неэффективная раздача «холодного» контента и поиск оптимального решения;
• Трудности при обработке большого объёма контента.
Занимался развитием highload-систем в компаниях в крупных международных и российских компаниях Iponweb, Maykor, АйТи (it.ru). Имеет десятки международных сертификатов, в т.ч.: IBM, Red Hat, VMware.
В RUTUBE работаю с января 2020, а с июля 2022 года назначен на должность Технического Директора. За полгода была протегирована вся база видео с помощью разработанной CV-модели, по аналогии с Youtube-8M, что позволило построить систему рекомендаций; реализован ML-Переход со sphinx на elastic, что позволило значительно увеличить CTR поисковой системы; внедрен геораспредленных ЦОД с режимами мультимастер для масштабирования платформы; Смена протокола на более производительный http3/quic и кодек AV1/VP9. Также для оперативного масштабирования и восстановления в случае сбоев были внедрены современные платформы виртуализации и облачные технологии на основе Openstack; выполнен переход на оркестратор Kubernetes; внедрены подходы «infrastructureas a code» и Devops; автоматизированы все процессы развертывания серверов и сервисов.
RUTUBE
Видео
Другие доклады секции
Архитектура