AI Infrastructure Engineer

Санкт-Петербург, Московский проспект, 94

Метро: Московские ворота

Описание вакансии

Что нужно делать:

Оптимизировать инференс локальных LLM и внутренних моделей (квантизация, батчинг, KV-cache, маршрутизация запросов) с помощью vLLM, Triton и аналогов
Выжимать максимум из текущего парка серверов: перераспределять ресурсы GPU/CPU/VRAM между задачами и внедрять решения для роста производительности без лишних затрат
Разрабатывать кастомные метрики утилизации и настраивать мониторинг нагрузки серверов (очереди, задержки, ошибки, пропускная способность)
Организовать прозрачный учет GPU-ресурсов компании и обеспечить отказоустойчивость инфраструктуры
Планировать закупки железа: анализировать потребности бизнеса, формировать технические требования и подбирать оптимальные конфигурации GPU-серверов

Необходимый опыт и знания:

Уверенный опыт оптимизации ML-инференса в production (AWQ/GPTQ/INT8, continuous batching, PagedAttention, спекулятивное декодирование)
Глубокое знание фреймворков для инференса (vLLM, TensorRT-LLM, TGI) и работы с GPU (управление VRAM, CUDA, профилирование)
Опыт работы с системами мониторинга и систем алертинга
Понимание архитектуры современных ИИ-моделей (Transformer, MoE, Attention) для поиска узких мест на стыке кода и «железа»
Навыки оркестрации ресурсов

Что мы предлагаем:

Развитие: неограниченный профессиональный рост, работа в сильной команде экспертов, участие в конференциях, митапах, профессиональных сообществах, в том числе в качестве спикера, корпоративная библиотека
Забота: ДМС, льготное подключение родственников, полис выезжающих за рубеж; партнерские программы
Комфорт: гибкий график и формат работы (офис/гибрид/удаленно); полностью оснащенные офисы в СПб, Москве, Омске, Владимире; свободный дресс-код
Надежность: официальное оформление по ТК в аккредитованной ИТ-компании, достойный уровень заработной платы, социальные гарантии