Senior ML Engineer (Домен ИИ)

Чем предстоит заниматься:

• Разработка и поддержка ETL‑pipeline;
• Создание, обучение и оценка моделей AutoML;
• Внедрение новых алгоритмов ML и их тестирование;
• Оптимизация признаков: построение кастомных трансформеров, RFE, PCA, feature‑selection;
• Упаковка моделей в MLEAP‑bundle и их публикация;
• Реализация и поддержка сервисов инференса с REST‑API и SSE;
• Интеграция с Kafka/Redis, обеспечение надёжной доставки сообщений и статусов;
• Настройка CI/CD пайплайнов, автоматическое тестирование и деплой в Kubernetes;
• Мониторинг производительности, сбор метрик, настройка алертов;
• Участие в архитектурных обсуждениях, оценка рисков и предложений по улучшению платформы.

Какие знания и навыки для нас важны:

• Программирование на Scala 2.12/2.13 (опыт разработки Spark‑приложений) и Python (моделирование в Jupyter);
• Глубокие знания Apache Spark 3.x;
• Опыт построения и эксплуатации ML моделей (ETL → обучение → инференс);
• Знание основных алгоритмов машинного обучения;
• Понимание работы Kafka, Redis Streams и SSE;
• Навыки контейнеризации (Docker) и оркестрации (Kubernetes, Helm);
• Базовые навыки работы с MinIO/S3, Hive, SFTP;
• Умение работать с системами контроля версий (Git) и вести техническую документацию (Swagger/OpenAPI);
• Опыт проектирования, разработки и поддержки полного ML‑pipeline в распределённой среде;
• Опыт выбора и внедрения новых моделей и алгоритмов (XGBoost, CatBoost, кастомные трансформеры и т.п.);
• Опыт оптимизации точности моделей: гиперпараметрический поиск, кросс‑валидация, балансировка классов;
• Опыт разработки и интеграции сложных feature‑engineering‑трансформеров, RFE, PCA, target‑encoding;
• Опыт упаковки моделей в MLEAP‑bundle, их деплой в MinIO и обслуживания сервисов инференса;
• Опыт мониторинга и отладки Spark‑jobs, Kafka‑потоков, метрик моделей в продакшн;
• Навыки обеспечения безопасности данных (TLS/mTLS, подпись/верификация);
• Умение принимать архитектурные решения по увеличению точности, производительности, масштабированию и повышению отказоустойчивости;

• Оконченное высшее образование;