Наша команда занимается развитием LLM GigaChat в продуктах SberDevices с многомиллионной аудиторией. Мы делаем доступным для всех опыт взаимодействия с передовыми большими языковыми моделями Сбера. Сейчас мы в поисках сильного аналитика, который усилит команду аналитики LLM.
Чем предстоит заниматься:
- проектировать пайплайны сбора, очистки и разметки данных для обучения (SFT)
- глубокий анализ датасетов для SFT: распределения, аномалии, смещения, корреляции с качеством модели
- создавать и внедрять метрики оценки качества работы сложных систем с LLM
- проведение A/B-тестов и статистических исследований для оценки гипотез о данных
- построение дашбордов и систем мониторинга дрейфа данных и метрик модели в продукте.
Мы ищем того, кто:
- уверенно владеет Python, SQL, Spark
- имеет опыт в Дата-аналитике от 3-х лет
- имеет опыт проведения АБ тестов
- понимает ML-метрики и анализ данных
- имеет опыт работы с LLM, понимание специфики, опыт по сбору данных для SFT
- применяет статистику и теорию вероятностей на практике
- умеет работать с BI-инструментами.
Будет плюсом:
- опыт работы с LLM — от создания агентов и построения RAG-пайплайнов до развёртывания моделей, оптимизации инференса и участия в бенчмаркинге
- высшее техническое образование.
Условия
- гибридный формат работы (м Новослободская)
- годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- регулярные митапы и развитое DS-community
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбер.