Стоит ли разрешить пользователям писать код?
Привет, друзья!
Пока вы задаётесь вопросом, зачем позволять пользователям писать код, кто-то из ваших коллег наверняка пишет плагин к nginx на Lua или к traefik на Go. Так, может, научить делать правильно, вместо того, чтобы запрещать?
Об этом (и не только) мы поговорим в секции Technologies на GolangConf 2023. Встречаемся 27 и 28 ноября в кампусе Сколково (конференция пройдёт в рамках HighLoad++ 2023).
Забронировать билет на GolangConf 2023
Доклады секции Technologies
Множество программ поддерживает скриптинг, будь то балансировщик нагрузки, торговый терминал или игровой движок. Андрей Привалов (Adscompass) покажет, как это работает изнутри. Узнаем, как использовать встроенные скрипты в приложении на Go. И вместе с Андреем попробуем создать свою систему исполнения выдуманного скриптового языка.
Обрабатывая большие файлы, мы должны соблюдать строгие требования по времени и качеству, чтобы предотвратить возможные сбои и перегрузки системы. В своём докладе Александр Ванюшкин (Weborama) поделится опытом и даст рекомендации по созданию конвейера обработки с использованием Cadence. Обсудим, как Cadence работает в инфраструктуре Weborama, посмотрим на его архитектуру, поговорим об альтернативных решениях.
Продолжая тему обработки данных, немного отойдём от Golang-разработки, вспомним о распределённых системах и Apache Spark. В нашей новой статье на Хабре разработчик Яндекса рассказывает, как Apache Spark адаптируется к внутренней инфраструктуре.
YTsaurus SPYT: помогаем планировщику Apache Spark быть ещё эффективнее
В больших распределённых системах многое зависит от эффективности запросов: если на гигабайте данных неоптимальный запрос может выполняться за миллисекунды, то при увеличении массива в тысячи раз, сервер начнёт кряхтеть, пыхтеть и жаловаться.
Избежать этого помогут знания о работе распределённых систем и их частей, а именно — планировщиков.
Алексей Шишкин в своей статье расскажет про:
- Apache Spark и YTsaurus;
- обзор планирования запросов;
- выявление просторов для оптимизации;
- внедрение знаний о сортировке в план исполнения;
- тесты производительности.
Читайте в нашем блоге на Хабре, делитесь своими мыслями в комментариях.
