Lead LLMOps

В 2022 году Московской бирже исполнилось 30 лет. Мы появились вместе с современной Россией и за эти годы с нуля создали рынок инвестиций.

Сегодня миллионы людей и тысячи компаний доверяют нам и пользуются нашей инфраструктурой.

• Ежедневно на наших торговых платформах совершаются миллионы транзакций в минуту – без задержек, без перебоев.
• Мы храним в депозитарии цифровые записи о каждом активе, который торгуется на бирже.
• Мы следим за тем, чтобы все операции соответствовали правилам торгов и требованиям регуляторов.

Мы — команда AI-продуктов Московской Биржи, которая меняет повседневную работу сотрудников и команд внутри биржи.

Мы автоматизируем процессы, убираем ручной труд и создаем AI-инструменты, которые позволяют делать больше, быстрее, точнее и в принципе по-новому.
Сейчас мы усиливаем направление LLMOps и ищем Lead LLMOps, который возьмет на себя развитие платформы эксплуатации больших языковых моделей, управление командой из 5 LLMOps/MLOps инженеров и обеспечение надежной работы AI-сервисов в промышленной среде.

Роль предполагает как техническое лидерство, так и организацию работы команды. Основная цель — развивать устойчивую платформу для развертывания, сопровождения и масштабирования LLM- и ML-решений во внутреннем контуре Московской Биржи.

Задачи:

• Руководство командой из 5 LLMOps/MLOps инженеров: постановка задач, приоритизация, развитие экспертизы, контроль качества исполнения.
• Проектирование, развитие и поддержка инфраструктуры для эксплуатации LLM- и ML-решений в production-среде с высокой нагрузкой.
• Организация процессов развертывания, обновления и сопровождения больших языковых моделей и связанных AI-сервисов.
• Обеспечение надежности, отказоустойчивости, наблюдаемости и масштабируемости AI-инфраструктуры.
• Развитие и стандартизация CI/CD-процессов для ML/LLM-сервисов.
• Построение мониторинга, логирования и алертинга для AI-продуктов.
• Оптимизация использования вычислительных ресурсов, производительности инференса и стоимости эксплуатации моделей.
• Взаимодействие с командами разработки, data science, архитектуры и инфраструктуры для вывода AI-решений в промышленную эксплуатацию.
• Формирование инженерных стандартов, подходов к эксплуатации моделей и лучших практик LLMOps внутри команды.

Мы ожидаем, что у вас:

• Опыт работы в роли Lead LLMOps-инженера.
• Опыт управления инженерной командой или технического лидерства.
• Практический опыт проектирования, развертывания и эксплуатации ML-решений в production.
• Практический опыт развертывания и сопровождения LLM-моделей и сервисов инференса.
• Уверенное знание Docker и Kubernetes.
• Опыт настройки и эксплуатации CI/CD в GitLab.
• Опыт работы с NGINX.
• Опыт работы с облачными платформами и инфраструктурой: AWS, Azure, Yandex Cloud.
• Опыт работы с реляционными и NoSQL БД: Postgres, Oracle, Redis.
• Знание и опыт использования инструментов мониторинга и наблюдаемости: Grafana, Prometheus, ELK.
• Опыт работы с Apache Airflow.
• Понимание принципов надежной эксплуатации высоконагруженных систем.
  Будет плюсом
• Опыт работы с векторными базами данных: Qdrant, Milvus.
• Опыт работы с API и интеграционными сервисами.
• Знание MLflow.
• Знакомство с Kubeflow.
• Опыт оптимизации инференса LLM, работы с GPU-инфраструктурой и high-load AI-сервисами.
• Опыт построения внутренних платформ или общих AI-сервисов для нескольких продуктовых команд.