Профессиональная конференция для Go-разработчиков

Внутри S3

Архитектуры и масштабируемость

Системы хранения

PostgreSQL
Отказоустойчивость
Распределенные системы
Масштабирование с нуля

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Отличная тема по двум причинам: во-первых, раскрывает внутреннее устройство современных облаков, что у них под капотом; во-вторых, рассказ об имплементации шардинга, которую можно применить в своих проектах.

Целевая аудитория

Разработчики высоконагруженных приложений.

Тезисы

Яндексовая инсталляция хранилища S3 хранит миллиарды файлов. Это огромные объемы данных, а также огромные объемы метаданных. Для хранения метаданных используется множество шардов postgres. Мы научились использовать умное шардирование, мы сами управляем распределением занятого места и нагрузкой между шардами.

Расскажу, как сделать так, чтобы ни один клиент, даже с самым неудобным паттерном нагрузки, не положил ваш сервис.

Павел Левдик

Yandex Infrastructure

Работает в Яндекс Облаке с 2019 года, развивает S3-хранилище для внутреннего яндекса, и для клиентов Яндекс Облака.

Yandex Infrastructure

Команда Yandex Infrastructure создает системы, сервисы и инструменты для разработчиков Яндекса. Наши решения направлены на то, чтобы любой проект Яндекса получал готовую инфраструктуру на всех этапах производства: у нас есть собственная система контроля версий для хранения исходного кода, системы распределённой сборки и непрерывной интеграции для C++, Java, Python и Go, способные обрабатывать сотни сборок в минуту, система ревью кода, распределённая система выполнения задач, системы развертывания и мониторинга приложений. Мы также разрабатываем продукты для поддержки процессов разработки, планирования ресурсов и много других систем и инструментов.

Видео

Другие доклады секции

Архитектуры и масштабируемость

Алиса 6 лет спустя
Павел Капля

Алиса и Умные устройства Яндекса