GolangConf 2024 - Профессиональная конференция для Go-разработчиков

Как мы раздаем картинки в дзене и история одного переезда

Архитектура

Миграции данных

Бэкенд / другое

Отказоустойчивость

Микросервисы

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Казалось бы, чего сложного в раздаче картинок? А если их много? А если нужны разные размеры? А если потребители как с цепи сорвались? В докладе вы познакомитесь с переездом системы, которая умеет хранить и раздавать разнородные данные для многих потребителей.

Целевая аудитория

бекенд разработчики, архитекторы, все любопытствующие

Тезисы

Как перевезти сервис с 120к рпс? а дважды ?
Как раздавать 100500 вариантов картинок на лету и не потратить все деньги мира на железо?
Почему не тупо с3?

что можно полезного вынести:
как быстро раздавать много разнородных данных которые требует предварительной обработки?
как перевозить сервисы в условиях неопределенности при существующем трафике?
как организовать кеш для таких задач?

целевая аудитория:
бекендеры мидлы(основная) - в целом полезно посмотреть на задачу и как мы ее решали и учитывали разные нюансы.
бекендеры сениоры/техлиды - посмотреть на рабочее решение задачи раздачи неоднородного трафика/сравнить со своим опытом

Зуев Евгений

ООО "ДЗЕН.ПЛАТФОРМА"

12+- лет опыта коммерческой разработки
последние 4 года в бигтехе пилю микросервисы и системы на них

ООО "ДЗЕН.ПЛАТФОРМА"

Компания пилит https://dzen.ru и интегрируется с другими сервисами вк В целом весело и интересно

Видео

Другие доклады секции

Архитектура

Переход на GraphQL для повышения нагрузоустойчивости сервиса. Плюсы и минусы совместного использования NestJS и GraphQL на примере одного проекта

Валентин Сорокин

Сравни

Строим Журналирование высоконагруженных систем

Мерзляков Антон

Т1

Выделение микросервиса из 15 летнего монолита. Приключение на 1 год

Станислав Кондратьев

HeadHunter

Архитектурный Чекап - Гибкая методика аудита ваших систем

Андрей Шалунов

Яндекс Плюс Фантех

Как применить перколятор по назначению и не только

Сикач Владислав

Авито

Нестандартные подходы к использованию Apache Kafka для повышения производительности системы

Иванов Роман Евгеньевич

АО "СберТех"

Эволюция системы нотификации - от сложного к простому

Руслан Платонов

ПАО Сбербанк

Быстрые кешбеки для быстрых платежей

Константин Гузаров

Мир Plat.Form (НСПК)

Архитектура сетевой безопасности предприятия сегодня, а может и завтра

Михаил Кадер

Positive Technologies

Как не деградировать сервису подбора рекламы когда мир сходит с ума

Артем Букин

VK, VK Реклама

Как мы в Авито анализируем 5 миллионов трейсов и строим схему архитектуры, и зачем это нам

Нещадин Иван

Авито

Адаптация архитектуры и инфраструктуры национального видеохостинга RUTUBE при увеличении количества видео с 50 до 250 миллионов за год

Ростислав Чернаков

RUTUBE

От NSX к OVN: 4 года подготовки и успешная миграция облака "на лету"

Владислав Одинцов

K2 Cloud

Сам себе оператор: зачем в облаке сеть от телекома и причем тут DDOS

Максим Яковлев

Timeweb Cloud

Максимум производительности - архитектура сервиса с десятком миллионов входящих событий

Евгений Толмачев

Авито

Как мы научились обрабатывать потоково все офферы интернета

Антон Иванов

Яндекс

Миллионы часов: поиск копий в VK Видео

Никита Кочетков

ВКонтакте

1000 и 1 боль: как мы запускали «звонки через приложение» на Авито

Станислав Процкий

Авито

Разработка расширений (плагинов) для микросервисов

Станислав Сидристый

Газпром-Нефть

api-gateway в Авито

Александр Данковцев

Авито

Temporal: отказоустойчивость из коробки

Вадим Сайганов

MTS Web Services (MWS)

Как мы поддерживаем работу более 100 тысяч виртуальных машин клиентов и не сошли с ума. Или все-таки сошли?

Артем Гаврилов

Timeweb Cloud

Low-code аналитика на предельной скорости

Арустамов Алексей Иванович

Loginom

System Design Interview

Денис Цветцих

DevBrothers, Tinkoff

Добавляем ++ в Prometheus

Владимир Гурьянов

Флант

Модульный монолит - убийца микросервисов

Андрей Цветцих

Т-Банк

Проектируем свою inhouse Feature Platform

Алина Баймашева

Домклик

Поиск и рекомендации Wildberries: почти миллион RPS, ML, персонализация и большинство запросов не через индексы

Александр Сидоров

Wildberries

Оптимизация API

Ярослав Атрохов

Axenix

Гибридный поиск на базе OpenSearch и Qdrant

Егор Прохоренко

Т-Банк

Как выбрать технологии и спроектировать очередной высоконагруженный сервис или вопросы на которые я устал отвечать

Дмитрий Кривопальцев

Яндекс 360

DDD Влада Хононова - лучшая книга о DDD или инфоцыганство?

Денис Цветцих

DevBrothers, Tinkoff

Архитектура надежности цифровой экосистемы

Алексей Мерсон

Т-Банк

Remout Config и АБ эксперименты

Алексей Жиряков

KION

Как мы визуализировали, визуализировали и довизуализировались. OpenAPI для описания топологии микросервисов.

Александра Волушкова

Axenix

Машины сосояний для товарных данных из YDB и очередей

Виталий Московкин

Яндекс

Построение крупнейшего CDN на территории РФ и стран СНГ — опыт национального видеохостинга RUTUBE

Ростислав Чернаков

RUTUBE

Как эволюционировала доставка данных для рекламного движка Яндекса: снижаем задержки от часов к минутам

Даниил Гавриловский

Яндекс

Архитектура поиска Superjob на Manticore c ML-сервисом - улучшаем скорость и релевантность

Дербенев Андрей Сергеевич

SuperJob

PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны

Валентин Бартенев

Web Server LLC

Мультитенантная архитектура SaaS-стартапа внутри продукта Яндекс.Лавка

Павел Подколзин

Яндекс

Масштабирование в условиях неопределенности или как мы обновляли СберСпасибо

Мария Насырова

Сбер

Мобильные платежи «Мир»

Дмитрий Викулов

Мир Plat.Form (АО НСПК)

Задача байбокса. Как выбирать лучший оффер 5 лет подряд и сохранить бодрость духа

Илья Ненахов

Яндекс Маркет

Реалтайм обработка данных в АБ-экспериментах или как получать метрики АБ здесь и сейчас

Данил Валгушев

Яндекс

Архитектура видеозвонков Т-Банка

Евгений Фирстов

Т-Банк

Тема: Kubernetes as a Service 2.0: Переход с Rancher'a на собственный Control-plane на базе k0s

Артем Гаврилов

Timeweb Cloud

Эволюция пайплайна метрик. Как менялась архитектура с ростом нагрузки.

Боярский Руслан

T-Банк

Цифровой двойник Экосистемы МТС

Яковлева Екатерина

ПАО МТС

Черные лебеди в HighLoad-системах

Алексей Уляшев

Газпромбанк.Тех

Артефакты архитектуры. Какие, зачем и как их организовать

Наиль Рамилевич Миннахметов

МТС

Может ли база работать без кеш-слоя в 2024-м году?

Rybak

devhands.io

Как управлять мегаполисом без смс и регистрации. История одного пилота АСУДД.

Арсений Сазанов

ИП Сазанов А.М.

AppHost: Как Яндекс организует взаимодействие сотен микросервисов.

Вуколов Константин

Яндекс

Быстрый Open Loop и Closed Loop симулятор для автономного транспорта

Николай Поливанов

Яндекс

«Как KION формирует в Realtime персональные рекомендации и витрины»

Алексей Жиряков

KION

System Design Interview казнить нельзя помиловать

Невзоров Владимир Игоревич

servicepipe

Как мы увеличили пропускную способность поиска картинок с помощью ML и изменения архитектуры

Сахнов Денис

Яндекс

Как проезжать миллион километров в день

Владислав Долбилов

Яндекс Беспилотные Технологии

Принцип каскадного снижения связанности при движении от микросервиса к Enterprise-архитектуре

Руслан Сафин

Byndyusoft

Resource EXpress: как мы сделали свою систему доставки динамических ресурсов и ускорили доставку ML-моделей и не только с часов до минут

Гайворонский Николай

Яндекс

Как масштабировать защиту от DDoS атак на десятки миллионов RPS. Опыт Яндекса

Иван Тямгин

Яндекс

WebAssembly: от браузеров до хайлоада

Алексей Комисов

Positive Technologies

Рождение MATRIX5: путь от идеи до собственной разработки

Ангелина Костина

X5 Tech

Как, и главное зачем, мы перевели Рекламные технологии Яндекса на стриминговый процессинг

Антон Полднев

Яндекс

Легаси глазами архитектора

МТС

Apache Kafka как единственное хранилище. Использование, проблемы, боль и последствия

Дмитрий Емельянов

Altenar

Использование гетерогенных вычислений при прогнозировании рисков в HFT

Александр Боргардт

bigdataduck

новый виток построения аналитике на встраиваемых базах

Александр Боргардт

bigdataduck

Финтех: 10 причин моей ненависти

Екатерина Лысенко

RoboGate

SDN в платформе виртуализации

Дмитрий Скорых

Orion soft

AaC- панацея или хайп

Митрофанова Ксения

прочерк

Почему в разработке эпоха Agile прошла

Андрей Путин

KT.Team

Прагматичная архитектура построенная на событиях

Антон Хохлов

bip.ru

WASM: цель, устройство, перспективы

Владимир Хомутов

ВебСервер

Как мы историю операций оптимизировали

Богдан

Росбанк

Сжатие технологического стека или анти-Highload

Павел Кутаков

VK.Tech

Точный адрес - вечная боль! Адресный путь геораспределённого агрегатора курьерской доставки.

Михаил Колосов

Газпромбанк.Тех

Будьте готовы к оверскейлингу

Вадим Селезнев

МТС Диджитал

10 лет эволюции архитектуры высоконагруженных сетевых приложений. Ожидания и реальность

Павел Иващенко

TrafficSoft

Как устроена Алиса нового поколения

Руслан Ахтариев

ООО Яндекс.Технологии

Разработка и эксплуатация большой системы или как мы делаем MTS Web Services (МТС Облако)

Сергей Киселев

MTS Web Services

Как устроена архитектура для работы акций на Яндекс Маркете: эволюция решений

Анна Кустарева

Яндекс Технологии

Доверяй, но проверяй

Алексей Жиряков

KION

Open Source Low Code технологий в импортозамещении

Иван Ратников

МТС Диджитал