Профессиональная конференция для Go-разработчиков

Частичная модификация объектов в Yandex Object Storage: как мы улучшаем работу ФС поверх S3

Базы данных и системы хранения

Системы хранения

Распределенные системы
Работа с облачными сервисами
Хранилища

Доклад принят в программу конференции

Целевая аудитория

Бэкенд-разработчики, которым интересны облачные хранилища данных и распределенные системы/

Тезисы

Объектные хранилища являются популярными системами хранения данных с отличной масштабируемостью, простым API и подходят для большого спектра задач. Однако для некоторых приложений возможностей стандартного объектного хранилища может оказаться недостаточно, а именно когда для работы требуется интерфейс ФС.

Сейчас уже есть возможность работать с Yandex Object Storage как с ФС с помощью GeeseFS, про которую мы рассказывали в прошлом году. Но для хорошего решения нам сильно не хватало возможности частичной перезаписи объектов - метода PATCH. Про него и будет доклад.

В докладе я расскажу про:
* задачи, для которых не хватает стандартного S3 API, и хочется работать с хранилищем как с ФС;
* какие возможности предоставляют в этом плане различные облачные провайдеры;
* подробности про то, как мы решали эту проблему в прошлом и чего не хватало для счастья;
* технические аспекты реализации частичной модификации объектов, проблемы, с которыми мы столкнулись;
* что получилось в итоге, какие возможности дает метод PATCH и что планируется в будущем.

Александр Снопов

Yandex Infrastructure

Старший разработчик в общем сторадже Яндекса и S3.

Yandex Infrastructure

Команда Yandex Infrastructure создает системы, сервисы и инструменты для разработчиков Яндекса. Наши решения направлены на то, чтобы любой проект Яндекса получал готовую инфраструктуру на всех этапах производства: у нас есть собственная система контроля версий для хранения исходного кода, системы распределённой сборки и непрерывной интеграции для C++, Java, Python и Go, способные обрабатывать сотни сборок в минуту, система ревью кода, распределённая система выполнения задач, системы развертывания и мониторинга приложений. Мы также разрабатываем продукты для поддержки процессов разработки, планирования ресурсов и много других систем и инструментов.

Видео

Другие доклады секции

Базы данных и системы хранения