Senior Data Scientist (ML Evaluation & Metrics)

Senior Data Scientist (ML Evaluation & Metrics)

Чем предстоит заниматься:

• Проектировать методологии оценки качества ML-моделей и рекомендательных механик: офлайн- и онлайн-метрики, их связь с бизнес-метриками
• Переводить потребности бизнеса в DS-постановки, формулировать гипотезы, целевые и guardrail-метрики, ограничения, критерии успеха
• Разрабатывать методологию разметки: ТЗ и инструкции для разметчиков, правила для пограничных случаев, golden sets, контроль согласованности, аудит качества разметки
• Готовить ТЗ на сбор и упаковку наборов данных
• Разрабатывать дизайны и анализировать результаты тестов ML решений в продукте
• Формулировать и имплементировать методологии оценки качества данных
• Вести исследовательскую аналитику, находить инсайты в данных и в поведении ML систем.
• Отвечать за отчётность и логирование ML-метрик. Определяя формат релизных отчётов, обязательный набор метрик, сравнение с baseline
• Определять дизайн оценки качества. Формировать драфт задач для ML инженеров, описывать, что и как должно быть реализовано, чтобы качество можно было корректно измерить.

Для нас важно:

• От 3 лет коммерческого опыта в Data Science или ML-аналитике, включая реальный опыт оценки моделей, работающих в проде
• Глубокое понимание метрик ML (классификация, детекция, сегментация, ранжирование)
• Уверенные теорвер и матстат: проверка гипотез, доверительные интервалы, бутстрап, мощность теста, методы снижения дисперсии
• Классический ML на табличных данных (бустинги, линейные модели): умение анализировать поведение модели, её ошибки, калибровку, важность признаков
• Python (pandas, numpy, scipy, sklearn, Jupyter)
• Умение писать: компактные и внятные отчёты с выводами, ТЗ, инструкции, которые понимают с первого раза
• Умение задавать правильные вопросы и докапываться до сути постановки
• Крайне желательно - опыт оценки рекомендательных систем
• Высшее техническое или математическое образование

Будет плюсом:

• Опыт в модерации контента, антифроде или trust & safety
• Опыт организации разметки (Toloka, Label Studio, in-house асессоры), active learning, human-in-the-loop
• Causal inference и квазиэксперименты
• LLM-as-a-judge и использование LLM в разметке
• Опыт с experiment tracking (MLflow, ClearML)