MLOps / Data-инженер (F&R)

Привет!

Мы — команда Магнит, крупнейшего оффлайн-ритейлера в России.
У нас — более 26 000 магазинов, и наша задача — чтобы в каждом из них был нужный товар в нужное время. Для этого мы оптимизируем цепочки поставок, учитывая возможности логистики, распределительных центров и поставщиков.

F&R — крупный стратегический проект по оптимизации цепочек поставок: от прогноза спроса до пополнения конкретного магазина.

Мы занимаемся разработкой и сопровождением модуля прогнозирования спроса. Сейчас разрабатываем ML-платформу для поддержки всего цикла ML: от данных до продакшн-моделей.

Чем предстоит заниматься:

• разрабатывать и оптимизировать Spark-приложения, которые обрабатывают десятки терабайт данных;
• проектировать и поддерживать пайплайны и их оркестрации (Airflow, CI/CD);
• встраивать и масштабировать ML-модели прогнозирования спроса — от классических ML до современных ансамблей;
• поддерживать продакшен-цикл моделей: обучение, валидация, деплой, мониторинг качества;
• создавать микросервисы и унифицированные решения, которые реально влияют на бизнес.

Стек технологий: Python, Spark, Airflow, Git, CI/CD, Docker, k8s, kubeflow.

Мы ожидаем:

• отличное знание Apache Spark: разработка PySpark-приложений, оптимизация вычислений, опыт работы с big data;
• опыт оркестрации сервисов с использованием Airflow;
• опыт построения CI-пайплайнов.