Middle MLOps Engineer (Recommendation Systems)

Мы - команда MLOps в отделе Рекомендаций. Именно с помощью Рекомендаций в WB совершается более трети всех покупок. Наша команда по-своему уникальна, так как очень тесно связана с бизнес- продуктами, которые выводятся на реальных пользователей с помощью наших технологий.

Над алгоритмами и продуктами рекомендаций трудится большое количество DS/ML специалистов, которым необходимо предоставить все условия, чтобы их процесс разработки от идеи до выкатки в prod был удобным, понятным, быстрым и безопасным.

Для организации этого процесса мы разрабатываем и внедряем различные инструменты, а также выстраиваем ML инфраструктуру - как для ресерча, так и для продовых запусков.

Что нужно делать

• Развивать существующие MLOps инструменты, утилиты и библиотеки, повышать их надежность, внедрять новые "фичи";
• Помогать DS'ам в создании пайплайнов и сервисов в production среде (помощь в продуктивизации), оптимизировать их производительность;
• Внедрять MLOps инструменты для автоматизации процессов жизненного цикла ML-моделей;
• Проводить юнит / интеграционное / нагрузочное тестирование для сервисов / ML моделей перед выкаткой в production;
• Развивать системы мониторинга и логирования ML решений;
• Повышать качество внешней и внутренней документации по нашим продуктам.

Какой опыт и знания нужны

• Владение Python на продвинутом уровне;
• Опыт на аналогичной позиции от 3 лет;
• Опыт деплоя в production с помощью Kubernetes / Docker;
• Опыт выстраивания CI/CD пайплайнов (Gitlab CI/CD) и продвинутый опыт использования VCS (Git);
• Знания и опыт в оптимизации ML моделей для инференса;
• Опыт работы с фреймворками для инференса ML/LLM моделей (Triton Nvidia Inference Server, vLLM);
• Знание различных современных DS/ML фреймворков на уровне запуска локальных моделей (Polars, PyTorch, Transformers);
• Знание библиотек для веб-разработки: asyncio, FastAPI, Celery (SAQ);
• Знакомство с компонентами мониторинга и логирования (Thanos, Grafana, OpenSearch);
• Понимание современных алгоритмов машинного обучения и жизненного цикла ML модели;
• Практический опыт использования / внедрения с дальнейшей эксплуатацией MLOps инструментов - Airflow, Dagster, Argo Workflows, Prefect, Flyte, MLFlow, DVC, LakeFS, Seldon Core, KubeFlow.

Будет плюсом

• Продвинутая оптимизация инференса ML/LLM моделей (Quantization Aware Training, Post Training Quantization, PV Tuning и др.);
• Опыт построения online/offline Feature Store собственными силами, либо с помощью готовых решений: Feast, Tecton;

• Опыт работы с online/offline надежным и быстрым векторным поиском (Qdrant, LanceDB);

• Опыт написания пайплайнов / оптимизации запросов на Spark под экосистемой Hadoop.

Наш стек

MLOps: Kubernetes, Gitlab CI/CD, JupyterHub, Airflow, ClearML, Qdrant, Triton Nvidia Inference Server, vLLM, Kong, Label Studio
DE: Greenplum, ClickHouse, DataLens, Spark / Hadoop
DevOps: Nginx, Katran, Helm

Мы предлагаем

• Интересные задачи, и исследовательские, и прикладные, возможность переключаться между ними и видеть улучшения от них в production;
• Большие данные, сотни миллионов товаров, миллиарды действий пользователей в день, ресурсы и инфраструктуру, необходимые для работы с ними;
• Гибридный или удаленный формат работы с гибким началом рабочего дня;
• Бесплатное питание в наших офисах;
• Скидки на фитнес и образовательные программы.