Как мы в Kolesa Group построили инфраструктуру для стриминга данных на базе Redpanda вместе с командой админов, MLOps и DWH. Расскажу про такие open-source инструменты как ksqlDB и Kafka Connect, причём тут вообще SQL и что такое stream processing.
На примерах разберём, как эта платформа помогает MLOps и DWH-инженерам легко создавать и обрабатывать потоки данных, которые затем используются в аналитике и обучении ML-моделей.
Видео с выступления и плейлист Kolesa MLOps Meetup'25
Разберемся в том, что такое MLOps, какие есть проблемы с рынком MLOps-инженеров и как вообще понять «хочу ли я перейти в MLOps, если сейчас я работаю (укажите вашу должность). Доклад будет интересен backend-разработчикам, DS/ML-инженерам и всем, кто ищет MLOps-инженеров в команду.
Видео с выступления и статья на корп. сайте
Как в Kolesa Group построили и развивают свою Human-In-The-Loop платформу по разметке данных для последующего обучения ML-моделей и перепроверки их работы после релиза.
Поговорим про:
- инструмент Label Studio и как в нем организована работа команды модераторов
- как разметка попадает в единое хранилище лейблов компании через Redpanda
- как обеспечивается воспроизводимость экспериментов при обучении моделей.