Расскажу об опыте внедрения ML Feature Store в нашей компании. Мы проделали большой путь от использования стандартных backend-хранилищ до создания собственного Feature Store, оптимизированного для нужд Data Science- и Machine Learning-проектов.

Мы изучили существующие фреймворки (Feast, Tecton, Featureform) и поделимся, почему из коробки не удастся получить готовый ML Feature Store.

Методом проб и ошибок мы нашли простое решение, и на его внедрение у нас ушло 3 месяца одного разработчика. Хотим донести, почему мы делали конкретные решения на каждом шаге внедрения.

Наш ML Feature Store ускорил время вывода фич для ML-алгоритмов с трёх месяцев до одного дня.

Мы использовали Trino / S3, Yandex DB, Spark, Python, но покажем общее архитектурное решение, и вы сможете адаптировать его под свой стек. Сейчас наше решение держит нагрузку ~1.5К RPS на чтение, хранит > 200 GB данных, из них ежедневно обновляется около 15 GB, время ответа < 80 ms. Путём горизонтального масштабирования планируем нарастить эти цифры до 30К RPS, 1 TB данных с сохранением SLA.