Москва, улица Вавилова, 23с1
Компания «Специальные технологии контроля» («СТК») входит в Группу «СБЕР» и является многопрофильной российской компанией, поставщиком широкого ассортимента продуктов и услуг в области безопасности.
Сейчас мы продолжаем активно развиваться и ищем сотрудника на должность MLOps Engineer.
ОБЯЗАННОСТИ:
развертывание и настройка инференса LLM (Ollama, vLLM, Text Generation Inference, llama.cpp);
квантование моделей (GGUF, GPTQ, AWQ) под ограниченную VRAM;
контейнеризация (Docker) и оркестрация (docker-compose / k8s) всех сервисов;
мониторинг GPU, памяти, latency (Prometheus + Grafana);
настройка автоматического перезапуска, healthchecks, логов;
оптимизация конфигурации (KV-cache, batch size, tensor parallelism).
ТРЕБОВАНИЯ:
опыт развертывания open-source LLM на локальном железе;
знание Linux, bash, Docker, nvidia-docker;
знание python (базовый для скриптов автоматизации);
понимание работы GPU (CUDA, VRAM);
умение обеспечить стабильную, быструю и эффективную работу LLM на выделенном сервере или рабочей станции (локально);
будет плюсом: опыт с CI/CD (GitLab CI / GitHub Actions), Helm, Terraform.
УСЛОВИЯ:
Присоединяйтесь к нашей команде!
Москва
от 170000 RUR