Инженер по GPU-инфраструктуре и LLM-инференсу

О проекте

Строим и оптимизируем GPU inference-инфраструктуру для LLM-сервисов. Работаем с высокими нагрузками, multi-GPU кластерами и передовыми технологиями инференса. Ищем эксперта, который понимает, как выжать максимум из NVIDIA GPU и заставить LLM работать быстро и стабильно.

--------------------------------------------------------------------

Чем предстоит заниматься

• Эксплуатация и оптимизация SLURM-кластера для LLM-инференса

• Multi-GPU / multi-node inference — масштабирование и балансировка

• Настройка и тюнинг vLLM / SGLang / Mooncake

• Оптимизация throughput, latency и GPU utilization

• Работа с KV cache и оптимизация cache usage

• Диагностика bottleneck'ов между GPU, сетью и storage

• Балансировка inference-нагрузки

• Запуск и сопровождение LLM inference-сервисов в production

Обязательно

• NVIDIA GPU / CUDA — архитектура, драйверы, оптимизация

• SLURM — управление кластером и задачами

• Multi-GPU / multi-node workloads — опыт запуска

• RDMA / InfiniBand — высокоскоростные сети

• NCCL — коммуникации между GPU

• Inference-фреймворки — vLLM / SGLang / Mooncake

• Запуск LLM inference — production-опыт

• Оптимизация — throughput, latency, GPU utilization, KV cache

• Понимание bottleneck'ов — GPU ↔ сеть ↔ storage

Будет преимуществом

• Диагностика GPU — поиск и устранение проблем

• LLM inference benchmarking — замеры и сравнение

• High-load LLM inference — опыт работы с высокими нагрузками

• Мониторинг — Prometheus / Grafana

• Скрипты — Python / Bash для автоматизации

--------------------------------------------------------------------

Что мы предлагаем

• Работа с передовым стеком в AI/LLM-направлении

• Задачи уровня Enterprise-инфраструктуры

• Профессиональная команда и возможность роста

• Дополнительные преимущества: ДМС, Программа лояльности и т.д.

В сопроводительном укажите:

1. Ваш опыт с multi-GPU / multi-node inference

2. С какими LLM-фреймворками работали (vLLM, SGLang, Mooncake)