Профессиональная конференция для Go-разработчиков

Почтовые приключения с PostgreSQL: как приручить 650+ шардов и выжить

Базы данных и системы хранения

PostgreSQL
Отказоустойчивость
Оптимизация производительности
Распределенные системы

Доклад принят в программу конференции

Целевая аудитория

Полезно и интересно будет всем, кто работает с шардированной базой на большое количество шардов

Тезисы

Как мы управляем кластером PostgreSQL на 650+ двухтерабайтных шардов с помощью собственного сервиса шардирования

Яндекс Почта — высоконагруженный сервис, который держит 300.000+ RPS и хранит информацию о миллиарде пользователей. Для хранения всей метаинформации мы используем PostgreSQL на 650 шардов. Чтобы справляться с такими нагрузками, мы реализовали собственный сервис шардирования — шарпей. В докладе подробно расскажу:

1. Как мы пришли к реализации сервиса шардирования

2. Как устроено основное хранилище информации о распределении пользователей по шардам и самих шардах

3. Какие технические подходы мы используем, чтобы максимально уменьшить время получения информации из основного хранилища

4. Разберем историческое развитие сервиса и какие оптимизации нам понадобились после переезда в Облака

5. Разберем преимущества такого решения, и как эти преимущества помогают многим сервисам Яндекс 360;

Меня зовут Кирилл, я руководитель одной из групп разработки Яндекс Почты. Обожаю придумывать и обсуждать интересные архитектурные решения, чего в текущей инфраструктуре наших сервисов хватает с головой. Имею большой опыт в C++ и разработке Highload-сервисов.

Яндекс 360

Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер.

Видео

Другие доклады секции

Базы данных и системы хранения