Павел Сушин на GolangConf 2023

Beyond Rаft: практические аспекты масштабирования больших RSM на примере YTsaurus

Базы данных и системы хранения

Отказоустойчивость

Оптимизация производительности

Распределенные системы

Хранилища

Доклад отклонён

Целевая аудитория

Разработчики распределённых систем, разработчики и пользователи распределённых баз данных, пользователи YTsaurus.

Тезисы

YTsaurus — opensource платформа для хранения и обработки больших данных от Яндекса. Сердцем кластера YTsaurus является мастер-сервер, занимающийся обслуживанием метаданных, репликацией чанков, авторизацией пользователей и многим другим. Для отказоустойчивости, мастер YTsaurus построен по модели Replicated State Machine, как и другие известные сервисы координации и управления метаданными: etcd, ZooKeeper, Consul.

В докладе я расскажу об ограничениях, которые накладывает модель RSM на разработчиков приложения и о подходах, которые использует команда YTsaurus для масштабирования и обеспечения целостности мастер-сервера.

Павел Сушин

Яндекс

Занимается разработкой системы YTsaurus с 2010 года. Принимает участие в разработке архитектуры системы, в разные годы занимался форматами хранения данных, подсистемой Map-Reduce-операций, запуском и изоляцией джобов, интеграцией с системами контейнеризации. Сейчас отвечает за эксплуатацию кластеров.

Яндекс

Яндекс — технологическая компания, создающая инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов разрабатывает одну из самых популярных поисковых систем и другие сервисы, которые помогают людям в их повседневной жизни. Среди его направлений деятельности: поиск, реклама, онлайн-заказ такси и еды, электронная коммерция, видео/аудио и потоковое вещание, автономное вождение и облачные сервисы. Яндекс активно развивает проекты с открытым исходным кодом, такие как CatBoost, DivKit, YDB, userver, YaLM, YTsaurus.