Junior/Middle Data Scientist (Model Validation / GenAI / R&D)

Наша команда занимается независимой оценкой, валидацией и контролем качества AI-моделей и GenAI-решений Банка — от классических ML и NLP до LLM, диффузионных моделей, мультимодальных систем и моделей реального мира (робототехника, беспилотный транспорт и смежные направления).

Мы не просто «проверяем метрики», а:

• глубоко разбираемся в подходах команд-разработчиков и бизнес процессах в которых участвуют модели,
• челленджим архитектурные и методологические решения,
• предлагаем улучшения,
• разрабатываем собственные альтернативные модели, проверки и бенчмарки.

Отдельный фокус — R&D-деятельность:

• создание новых методологий оценки качества,
• участие в разработке и развитии переводных российских бенчмарков (MERA, POLLUX и др.),
• адаптация передовых мировых бенчмарков под специфику банковских и индустриальных кейсов.

Сейчас у нас открыта вакансия на роль LLM / GenAI Validation DS — фокус на LLM, мультимодальных и генеративных моделях, а также автоматизации их проверки.

Обязанности

• глубоко погружаться в валидацию как классических так и LLM, диффузионных и мультимодальных моделей
• проектировать пайплайны автоматической проверки качества, устойчивости и безопасности GenAI
• разрабатывать агентов и инструменты для автоматизации валидации (LLM-as-a-judge, multi-agent setups и т.д.)
• участвовать в создании и адаптации бенчмарков для LLM и GenAI и кастомизировать их под бизнес-кейсы Банка
• проводить полный цикл R&D:

от формулировки исследовательского вопроса, до прототипа, экспериментов и внедрения в рабочий процесс

• держать руку на пульсе и следить за SOTA в LLM / GenAI и переносить лучшие практики в индустриальные решения.

Технологический стек

Базовый стек:

• python, pandas
• pytorch

Будет плюсом:

• Classic ML / DL: Spark, pytorch-lightning, pytorch-distributed
• LLM / GenAI: langchain, smolagents, huggingface, faiss, vllm, lm-eval, rag-пайплайны
• Оценка и бенчмарки: опыт работы с evaluation-фреймворками

Требования

• высшее образование в области компьютерных, технических или физико-математических наук.
• от 1 года опыта в ML / DS (готовы рассматривать сильных кандидатов с меньшим опытом при наличии pet-проектов, R&D или соревнований)
• хорошее понимание:

теории ML (как классического, так и по работе генеративного ИИ)

математической статистики и теории вероятностей.

• опыт работы с основными библиотеками анализа данных
• базовые знания bash и git.

Будет плюсом:

• опыт R&D-работы или участия в создании бенчмарков
• опыт валидации или тестирования моделей, а не только их обучения.
• рet-проекты или исследования в области LLM, мультимодальных или real-world моделей
• умение декомпозировать сложные задачи
• проактивная позиция и интерес к исследовательской деятельности и генеративному ИИ.

Условия

• возможность внести вклад в развитие самой перспективной сферы — искусственный интеллект
• участие в уникальных масштабных проектах по развитию AI
• комфортный современный офис рядом с м. Кутузовская
• формат работы: гибрид
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.