Имитационное моделирование управления материальными ресурсами с использованием Kafka
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
Создан прототип OLAP-инструмента, который не боится глубоких и несбалансированных деревьев измерений и с каждым новым уровнем иерархии измерений увеличивает выигрыш в скорости расчетов вдвойне.
https://kobdik.github.io/Cube/speed.html
На основе подготовленных данных о поступлениях и отгрузках материалов разработана интерактивная демонстрация аналитического отчета о движении материалов с вычисленными остатками на начало и конец каждого дня.
https://kobdik.github.io/Cube/flow.html
Для проведения сценарного анализа и оценки последствий задержек поставок материалов, необходимо симулировать ситуации и их последствия в виде потока данных, которые будут загружены в инструмент аналитики. Для этого, на стеке Golang, Kafka и gRPC streaming разработан набор сервисов для генерации имитационных потоков данных движения материалов.
Получилась интересная архитектура на базе обмена унифицированными по структуре асинхронными сообщениями с использованием горутин, каналов, atomic операций, продюсеров и консьюмеров Kafka, потоков со стороны сервера gRPC streaming.
Любой желающий может скопировать себе проект с описанием как запустить в Docker контейнер с Kafka с тремя брокерами, исходные тексты сервисов и команды для их запуска.
Попытайтесь улучшить коды, добейтесь стабильной работы сервисов при уменьшении интервала синхронизирующего таймера сервиса Kronos. На моем ноутбуке мне удалось вписаться в 100 миллисекунд на обработку данных запланированных на день, а это на пике - обработка до 120 заявок.
Играя, вы быстрее и с большей пользой для себя освоите технологии Kafka и gRPC streaming, прочувствуете, на чем теряете драгоценные миллисекунды времени.
Более 30 лет в IT. Начинал карьеру программистом в северном городе Ноябрьск. С 2004 по 2011 годы внедрял разработанные мной программы по ретроспективным перерасчетам пени, формированию сводных аналитических отчетов, решению балансовых уравнений и распределению затрат в «Газпром Добыча Ноябрьск».
В 2022 связи с закрытием в России представительств крупных издательских домов, таких как Elsevier, Springer, Williams, и отсутствием возможности приобретения научных статей и документации большинством российских компаний, компания "ЭВЦ" наняла меня для разработки сервиса инновационных знаний и аналитических материалов СИЗАМ. Реализовал парадигму многодокументного интерфейса, чтобы информация по выбранным документам оставалась открытой во вкладках браузера. Разработал динамический, зависящий от набора ролей интерфейс пользователя, в добавок к этому, каждый контрагент мог получить собственный набор классификаторов документов. Используя платформу Ollama для запуска больших языковых моделей (LLM), разработал и внедрил семантический поиск по аннотациям документов, затем классификацию документов на базе семантической близости аннотаций.
Видео
Другие доклады секции
Инструменты и фреймворки
