ML-инженер по данным в команду GigaChat Multimodal Data (Vision)

СБЕР

ML-инженер по данным в команду GigaChat Multimodal Data (Vision)

Описание вакансии

Мы делаем данные, на которых GigaChat учится видеть: разбирать фотографии, документы, графики, рукописный текст и видео. Команда Multimodal Data (Vision) отвечает за всё, что попадает в обучение визуальной части модели после претрейна: SFT и DPO. Модели, которые на них учатся, — от десятков до сотен миллиардов параметров. Результат измеряем на открытых мультимодальных бенчмарках: OCRBench v2, OmniDocBench, MMMU, MathVision, Point-Bench и других. Ищем опытного инженера, который возьмёт одно из направлений и будет вести его от гипотезы «чего не хватает модели» до измеренного роста метрики.

Инфраструктура уже есть: хранилище данных с git-версионированием и выгрузкой на YTsaurus, замеры в lmms-eval с автоматическим разбором ошибок модели по доменам и субтаскам, краудсорсинговая платформа TagMe и внутренние эксперты-разметчики, модели-учителя для генерации данных и в роли LLM-судей. Как GigaChat работает с картинками, можно посмотреть на giga.chat.

Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

  • Собирать данные под конкретные бенчмарки и доказывать их эффект. Разбирать дампы замеров по субтаскам, находить, чего модели не хватает, собирать данные в формате замера и измерять результат. Например, под OCRBench v2 данные собираются по каждой из 23 подзадач отдельно, от распознавания формул до таблиц в HTML.
  • Генерировать синтетику, переписывать ответы моделями-учителями и проектировать цепочки пошаговых визуальных рассуждений. Рендерить русские документы, таблицы, формулы и рукописный текст с точной разметкой (LaTeX и HTML → PDF → картинка), генерировать вопросы и ответы открытыми моделями-учителями, отсеивать брак автоматическими проверками и LLM-судьями.
  • Строить DPO-пары. «Плохой» ответ в паре берём из ошибок нашей модели (галлюцинации, зацикливание в длинном OCR, сломанный формат), «хороший» — исправленный и проверенный. Под каждый тип дефекта своя корзина пар, без смещения по длине ответа.
  • Проектировать разметку. Инструкции, контрольные задания и агрегация для крауда на TagMe и для внутренних экспертов, SBS-сравнения моделей на реальных запросах пользователей, проверка LLM-судей людьми. Люди нужны там, где ответ нельзя проверить автоматически: открытые вопросы, сравнения, оценка рассуждений.
  • Контролировать чистоту данных и развивать платформу. Настраивать автоматические пайплайны дедупликации документов, определения утечек тестовых сетов. Работать с git-версионированием, конвертерами в формат обучения с тестами, выгрузками на YTsaurus и валидацией в Airflow. Дашборды состава датамикса с автоматическим диффом двух версий SFT или DPO, загрузка открытых датасетов и проверка эффекта отдельного источника LoRA-дообучением с замером на бенчмарках.

Требования

  • Не меньше трёх лет готовили данные для обучения или оценки ML-моделей: сбор, фильтрация, дедупликация, разметка. Понимаете, как SFT и DPO данные влияют на модель.
  • Уверенно пишете на Python (PyTorch, Pandas/Polars, Asyncio для пакетных запросов к API) и SQL, понимаете базовые концепции распределённого обучения.
  • Имеете опыт работы с большими языковыми или мультимодальными моделями (VLM, Vision Transformers) и библиотеками Hugging Face.
  • Используете LLM/VLM как прикладной инструмент: автоматическая фильтрация, генерация синтетики, пайплайны с LLM-судьями, проверка судей людьми, контроль стоимости и пропускной способности.
  • Обладаете сильной математической и статистической культурой: знаете про дисперсию и шум бенчмарков, согласованность разметчиков и парные сравнения, отличаете рост метрики от утечки теста.

Будет плюсом, если вы:

  • Работали с мультимодальными моделями: VLM, OCR, понимание документов; знакомы с lmms-eval или похожими фреймворками замеров.
  • Проектировали краудсорсинговую разметку (TagMe, Toloka): инструкции, контрольные задания, агрегация.
  • Проводили эксперименты по эффективному дообучению (LoRA, QLoRA, PEFT) на GPU-кластерах.
  • Работали с распределёнными хранилищами и Big Data инструментами: YTsaurus, Spark или ClickHouse на сотнях миллионов строк и с Airflow.

Условия

  • крупнейшее DS&AI community — более 600 DS-специалистов банка
  • дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
  • возможность быть соавтором НИРов и статей для международных конференций
  • возможность выбрать удобный формат работы: гибрид или офис
  • ежегодный пересмотр зарплаты, годовая премия
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • ипотека выгоднее до 7% для каждого сотрудника
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
  • вознаграждение за рекомендацию друзей в команду Сбера.
Посмотреть контакты работодателя

Похожие вакансии

Коммерсантъ

Data Scientist

Коммерсантъ

  • Москва

  • Не указана

Рекомендуем
ВСК, САО

Data Scientist

ВСК, САО

  • Москва

  • Не указана

Рекомендуем
Rambler&Co
  • Москва

  • Не указана

Рекомендуем
Магазины Ароматный Мир формата food & wine

Data-Scientist

Магазины Ароматный Мир формата food & wine

  • Москва

  • Не указана

Яснер
  • Москва

  • Не указана

Альфа-Селлер Технологии

Senior ML Engineer

Альфа-Селлер Технологии

  • Москва

  • Не указана

Цифровые привычки
  • Москва

  • до 200000 RUR

Платформа Национальной Технологической Инициативы

Инженер по AI-автоматизации

Платформа Национальной Технологической Инициативы

  • Москва

  • до 200000 RUR

Останкинский мясоперерабатывающий холдинг

AI/ML инженер

Останкинский мясоперерабатывающий холдинг

  • Москва

  • до 200000 RUR

Альфа-Селлер Технологии

Data Engineer

Альфа-Селлер Технологии

  • Москва

  • до 200000 RUR

СБЕР
  • Москва

  • до 200000 RUR

АНО Проектный офис по Развитию Туризма и Гостеприимства Москвы

Аналитик данных \ Data analyst

АНО Проектный офис по Развитию Туризма и Гостеприимства Москвы

  • Москва

  • до 198000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию