Обработка больших файлов обладает рядом требований (из-за возможных сбоев и пиковых нагрузок) к ресурсам и необходимостью эффективного масштабирования. Время и качество обработки регулируются строгими соглашениями с клиентами.

В данном докладе представлен опыт и практические рекомендации, полученные при создании конвейера обработки с использованием Cadence. Обсудим, как Cadence используется в нашей инфраструктуре, его архитектуру, а также альтернативные варианты решения.