Михаил Марюфич на GolangConf 2023

Hadoop в Облаке: история миграции сотен петабайт

BigData и машинное обучение

Инфраструктура ML

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Доклад про перенос большого Hadoop-кластера с bare metal в самописную оркестрацию One-cloud, разделение вычислений и хранения для улучшения эксплуатационных характеристик системы. Вы узнаете, как поддерживать такую огромную инсталляцию и как обеспечивать высокую производительность кластера.

Целевая аудитория

SRE, DevОps, big data-разработчики всех форматов.

Тезисы

Скачать презентацию

Для OK Hadoop — это ключевой компонент инфраструктуры: он активно используется как для реализации продуктовой аналитики, так и для продакшна рекомендательных систем. С точки зрения объемов это более 200 PB в HDFS, 70k vcores, 200 TB RAM.

Вся инфраструктура в Одноклассниках (и не только) разворачивается во внутреннем контейнерном облаке, в прошлом году очередь дошла и до Hadoop.

Поговорим о проблемах железного Hadoop, о том как запустить Hadoop в контейнерах в Облаке, а также о схемах миграции сотен петабайт (и конечно же, о проблемах в пути).

Михаил Марюфич

VK, Одноклассники

Руководитель Data Platform в Одноклассниках.

Linkedin — linkedin.com/in/mikhail-maryufich-87325bb9
Telegram — @mikhailmar

VK, Одноклассники

ОК — одна из самых популярных социальных сетей в рунете, которая объединяет миллионы людей. Общение, новые знакомства, развлечения, отдых, бизнес — это все про ОК.