Middle/Senior Vision ML Engineer

Наша CV команда создает лучший в Сбере продукт для автоматического распознавания документов, используя самые передовые технологии. Главными задачами для нас являются разработка и улучшение OCR-модели на базе VLM, сбор обучающих данных с использованием кастомного agentic harness, и развёртывание клиентского сервиса внутри банка. Мы ищем Middle/Senior инженера, который будет заниматься полным циклом обучения и деплоя продукта.

Обязанности

• изучать SOTA подходы к OCR: чтение свежих пейперов в сфере e2e OCR, адаптация подходов data mining, SFT/RL, гипотезы
• ставить эксперименты по обучению VLM-моделей: проверка гипотез на multi-node сетапе, замер метрик на внешних и внутренних бенчмарках.
• дорабатывать пайплайн обучения: улучшение репозитория на текущем стеке (accelerate, TRL) - ускорение обучения, добавление аугментаций, адаптация под новые модели
• собирать обучающие данных: агрегация существующих и новых данных в требуемом формате MarkDown, поиск новых доменов, написание скриптов по загрузке
• размечать датасеты: запуск процесса разметки для вновь собранных или существующих данных при помощи кастомного agentic harness сборщика разметки (а также его улучшение), или внутренней платформы разметки асессорами
• адаптировать сервис: интеграция обученных моделей в сервис на основе vLLM для сёрвинга клиентам внутри банка.

Требования

• высшее образование: математика, информатика или профильный data science
• 3+ лет в ML, из них не меньше года лет с LLM/VLM в проде
• английский для чтения статей и документации
• Fine-tuning: SFT, LoRA/QLoRA, RL (DPO, GRPO)
• современные движки инференса: vLLM, sgLang, triton
• опыт работы с VLM: понимание принципов работы, дообучения, основных ограничений
• агентные пайплайны: вызовы моделей, обработка исключений, ограничение стоимости
• опыт в разметке датасетов асессорами, или автоматическими инструментами
• Python: пишете код, который уходит в прод. Тесты, ревью, код-стайл
• специфика банка: много контрагетов, с ними нужно иногда коммуницировать

**Будет плюсом**

• опыт python-бэкендера: FastAPI, асинхронность, очереди, PostgreSQL, векторные хранилища
• работа с разметчиками и контрагентами
• публикации, доклады, open source.

Условия

• комфортный современный офис - м. Кутузовская
• гибридный формат работы
• ежегодный пересмотр зарплаты, годовой бонус
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.