Лид аналитик экспертности в Поиск

О компании и проекте

Яндекс развивает большую языковую модель Alice AI LLM. Наша цель — сделать Алису лучшим ассистентом в России: чтобы она ежедневно помогала пользователям в учёбе и работе.

Сейчас фокус — на повышении качества ответов в сфере образования для школьников (по математике, русскому и английскому языкам, истории, литературе, физике, биологии и др.).

Что предстоит делать

Вы будете работать в роли «играющего тренера» (50 % — руководство командой аналитиков‑разработчиков, 50 % — решение прикладных задач):

• Создавать метрики качества модели: формулировать критерии, экспериментировать с подходами (бенчмарки, LLM‑as‑a‑judge, краудсорсинг, AI‑тренеры), внедрять стабильные метрики.
• Анализировать проблемные срезы: находить слабые места модели, совместно с разработкой планировать решения, готовить данные для обучения, оценивать эффективность изменений.
• Собирать и контролировать данные: искать качественные источники инстрактов, выявлять проблемы в данных, формулировать и отслеживать критерии эталонных ответов.
• Взаимодействовать с командами разработки и продукта.
• Участвовать в обсуждении тактических и стратегических целей направления.

Мы ждём, что вы

• Руководили аналитиками или выступали ментором.
• Работали над метриками в ML‑проектах.
• Уверенно владеете SQL и Python.
• Умеете анализировать текстовые данные и выстраивать процессы их обработки.
• Знаете теорию вероятностей и математическую статистику.
• Самостоятельны и готовы решать нестандартные задачи.
• Интересуетесь развитием LLM и хотите в этом развиваться.

Будет плюсом

• Опыт работы с LLM.
• Опыт работы с Толокой или другими краудсорс‑платформами.