Senior LLM engineer / Inference Engineer (Центр Практического ИИ)

Наша команда строит и дообучает линейку LLM под банковские сценарии и запускает модели в пром в "жёстких" контурах: локальные устройства / закрытые контуры / строгие SLA по задержкам.

Работа включает полный цикл: данные → дообучение → оценка качества → оптимизация инференса → нагрузочное тестирование → внедрение.

Обязанности

• дообучение LLM под конкретные, прикладные банковские задачи (instruction-tuning, adapters/LoRA, SFT; при необходимости alignment-подходы)

• разработка и оптимизация AI-агентов и сложных RAG-пайплайнов (LangChain / LlamaIndex / LangGraph и аналоги): маршрутизация, инструменты, память, ранжирование, мульти-источники

• построение и улучшение пайплайнов инференса под заданные требования latency / throughput / cost-to-inference (батчинг, KV-cache, спекулятивные подходы, профилирование)

• оптимизация исполнения моделей под конкретное железо и контур исполнения (выбор архитектуры, ускорение узких мест, Triton/CUDA-ориентированные улучшения при необходимости)

• проведение НТ (нагрузочного тестирования) и перформанс-валидации: методология тестов, сценарии, метрики, воспроизводимость, выводы и отчеты

• сбор и подготовка данных для дообучения: постановка требований к датасетам, стратегия сбора и разметки, генерация синтетики там, где уместно, контроль качества данных

• разработка метрик качества и системы оценки (golden set, пайплайна автоматической оценки + ручная разметка, регрессия качества, сравнение версий, ведение отчетности)

• упаковка модели в сервисы / SDK, интеграция с внутренними APi/базами знаний, совместная работа с инженерами платформы и продуктом до вывода в продакшн.

Требования

• опыт в NLP/LLM от 5 лет
• уверенная практика с LLM/transformers
• уверенные знания python
• понимание архитектуры LLM и принципов построения inference-пайплайнов, опыт с vLLM / TensorRT-LLM / TGI / ONNX Runtime, квант пайплайны (AWQ/GPTQ/bitsandbytes и др.)
• практический опыт Fine-Tuning LLM под разные задачи (QA, классификация, извлечение сущностей, суммаризация, перевод, code-task как преимущество)
• опыт построения RAG-пайплайнов и AI-агентов / мультиагентных систем
• умение проектировать воспроизводимые эксперименты и валидировать изменения цифрами

Будет плюсом:

• опыт оптимизации производительности (профилирование, поиск узких мест на CPU/GPU, память), понимание trade-offs качества vs скорость vs стоимость, опыт low-latency / on-device / edge deployments
• опыт индустриальной разработки (тесты, код стайл, ревью, CI/CD, devops процессы)
• опыт работы с инфраструктурой разработки и деплоя (Linux, Docker, Kuber, мониторинг)
• опыт построения reusable-компонент (core LLM / фреймворки / платформенные решения), которые переиспользуются разными заказчиками в разных продуктах
• практика чтения и имплементации решений из научных статей (без жесткого фанатизма).

Условия

• комфортный современный офис г.Москва, рядом с метро Кутузовская
• возможность выбрать удобный график – офис/гибрид (с посещение офиса не менее 2х дней в неделю)
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.