Профессиональная конференция для Go-разработчиков

Петабайт в YDB over HDD в процессингах Яндекс.Метрики

Архитектуры и масштабируемость

Системы хранения

Доклад принят в программу конференции

Мнение Программного комитета о докладе

В докладе вы узнаете про особенности построения хранилища YDB на HDD на примере архитектурного кейса крупнейшей системы веб-аналитики в РФ.

Целевая аудитория

Разработчики распределенных систем.

Тезисы

В докладе вы узнаете про особенности построения хранилища YDB на HDD на примере архитектурного кейса крупнейшей системы мобильной аналитики в РФ.

* Кратко расскажем про процессинги аналитических продуктов и как устроен в них стейт.
* Нагрузки и требования.
* Как мы пришли к порядковому росту размера стейта (с 100 терабайт до петабайта).
* Как мы на этом сэкономили.
* Какие были варианты.
* Какие были трудности при записи и при чтении.
* Ложка дегтя в смысле загрузки ресурсов.
* Как мы выбираем, куда поместить данные, и как именно мы это делаем.
* Как мы управляем этим стейтом.
* Как мы справляемся с нагрузкой (12 gbit/sec).

Более 15 лет занимается разработкой распределенных отказоустойчивых систем. За это время успел позаниматься почтой, поиском, антиддос-защитой и фильтрацией трафика. В данный момент руководит службой ядра аналитических продуктов, в области ответственности которой лежат в т.ч. конвейеры обработки данных метрики и аппметрики.

Яндекс

«Яндекс.Метрика» — бесплатный интернет-сервис компании Яндекс, предназначенный для оценки посещаемости веб-сайтов и анализа поведения пользователей. По данным w3techs.com, в 2019 году Яндекс. Метрика являлась третьей по размеру системой веб-аналитики в Европе. По данным «Лаборатории Касперского», в 2021-2022 годах она была самым распространенным трекинговым сервисом в России и странах СНГ.

Видео

Другие доклады секции

Архитектуры и масштабируемость

Алиса 6 лет спустя
Павел Капля

Алиса и Умные устройства Яндекса