LLM Data Evaluation Engineer

СБЕР

LLM Data Evaluation Engineer

Описание вакансии

Мы помогаем государству проводить disrupt госуправления через внедрение AI/GenAI и ускорять национальное развитие AI/GenAI, организуем одно из крупнейших в мире профильных мероприятий – AIJourney, объединяем бизнес, государство и международное научное сообщество, чтобы обеспечить GenAI-трансформацию страны.

Обязанности

• cтроить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты

• проводить регрессионное тестирование в CI при смене моделей, промптов и настроек, контролировать качество перед релизами и показами

• оценивать агентов по траекториям: успешность задач, ошибки вызова инструментов, лишние шаги

• калибровать автоматическую оценку (LLM-as-a-judge) против экспертной разметки

• строить пайплайны обработки документов: PDF, сканы, OCR, таблицы, восстановление структуры

• готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов.

Требования

• от 3 лет в Data Science, Data Engineering или ML, из них не менее года с LLM-проектами

• опыт построения с нуля системы оценки качества LLM или RAG

• знание метрик поиска (recall@k, MRR, nDCG) и метрик ответов (faithfulness, полнота, корректность)

• опыт оценки агентных систем или многошаговых сценариев

• прикладная статистика: доверительные интервалы, значимость различий, размер выборки

• опыт обработки реальных документов в продакшене, включая OCR

• Python на уровне production-кода, уверенный SQL

• оркестрация пайплайнов (Airflow, Prefect, Dagster или аналоги), версионирование данных и трекинг экспериментов (DVC, MLflow или аналоги).

Будет плюсом:

• работа с юридическими, нормативными или канцелярскими текстами на русском языке

• классический NLP: NER, классификация, извлечение сущностей

• опыт с русскоязычными бенчмарками

• работа с персональными данными по 152-ФЗ

• Elasticsearch, OpenSearch, векторные базы данных.

Условия

  • гибридный формат работы по адресу Кутузовский пр-кт 32к3
  • ежегодный пересмотр зарплаты и годовая премия
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбера.
Посмотреть контакты работодателя

Похожие вакансии

Останкинский мясоперерабатывающий холдинг

AI/ML инженер

Останкинский мясоперерабатывающий холдинг

  • Москва

  • Не указана

Рекомендуем
ЦЕМРОС

ML-инженер

ЦЕМРОС

  • Москва

  • Не указана

Рекомендуем
ANCOR
  • Москва

  • Не указана

Рекомендуем
Коммерсантъ

Data Scientist

Коммерсантъ

  • Москва

  • Не указана

МАГНИТ, Розничная сеть

Руководитель команды ML/Lead ML Engineer

МАГНИТ, Розничная сеть

  • Москва

  • Не указана

СБЕР
  • Москва

  • Не указана

АЙСИЭМАР
  • Москва

  • Не указана

РНПК
  • Москва

  • Не указана

Платформа Третье Мнение

Deep Learning Engineer

Платформа Третье Мнение

  • Москва

  • Не указана

ПТ-Электроник

Промпт-инженер

ПТ-Электроник

  • Москва

  • Не указана

Orion soft
  • Москва

  • Не указана

ВСК, САО

Data Scientist

ВСК, САО

  • Москва

  • Не указана

Боронд, Группа компаний
  • Москва

  • Не указана

Rambler&Co
  • Москва

  • Не указана

Магазины Ароматный Мир формата food & wine

Data-Scientist

Магазины Ароматный Мир формата food & wine

  • Москва

  • Не указана

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию