LLM Platform Engineer (ML Engineer)

Magenta Technology

LLM Platform Engineer (ML Engineer)

Описание вакансии

Открыта вакансия LLM Platform Engineer (ML Engineer) на проект финтех.

Задачи:

  • Развертывание и оптимизация LLM моделей на multi-GPU установках с tensor/pipeline/data parallelism
  • Организация MLOps-процессов и системная оценка качества моделей
  • Обеспечение production latency <2s и uptime >95% для инфраструктуры inference
  • Профилирование и оптимизация использования VRAM (CUDA OOM prevention)
  • Мониторинг GPU-производительности

Мы ожидаем от тебя:

  • Python (asyncio, multiprocessing, typing) Advanced уровня
  • Bash/Shell scripting Advanced уровня для автоматизации развертывания
  • Практический опыт с vLLM, TensorRT-LLM, TGI для serving моделей
  • Опыт работы с квантизацией (AWQ, GPTQ, GGUF) для снижения требований к VRAM
  • Знание оптимизаций Flash Attention и Paged Attention
  • Навыки работы с PyTorch, JAX, ONNX для универсального развертывания
  • Опыт отладки GPU memory и понимание CUDA (Intermediate C++/CUDA)

Будет плюсом:

  • Опыт развертывания моделей на multi-GPU
  • Практика профилирования VRAM usage в production-средах
  • Опыт работы с моделями 480B+ параметров на кластерах GPU
  • Знание специфических GPU scheduling инструментов (Volcano, Kueue)
Навыки
  • Python
  • Bash
  • Shell Scripting
Посмотреть контакты работодателя

Похожие вакансии

Magenta Technology
Удаленная работа
  • Самара

  • Не указана

Рекомендуем
Magenta Technology

DevOps Engineer

Magenta Technology

Удаленная работа
  • Самара

  • до 220000 RUR

Рекомендуем
Удаленная работа
  • Самара

  • от 100000 RUR

Рекомендуем
Вектор Развития

Инженер-технолог

Вектор Развития

Удаленная работа
  • Самара

  • от 100000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию