Разработчик качества поисковой платформы Nova (Core & Agentic Search)

О вакансии

В Яндексе существует множество вертикальных поисков: товары, путешествия, недвижимость, афиша, музыка. У каждого из них своя логика ранжирования, метрики качества и интеграции с продуктами вроде Алисы.

Мы хотим собрать из этого единую платформу поиска, где команды смогут описывать требования к релевантности и интеграциям декларативно, а инфраструктура будет автоматически строить ранжирование, evaluation и подключение к агентам.

В основе платформы — современные LLM и ML-подходы: от компиляции политик релевантности до дистилляции моделей ранжирования и стандартных интерфейсов для агентов.

Какие задачи вас ждут:

• Развивать платформу поиска для продуктовых команд
  Вы будете реализовывать ML-инфраструктуру, которую смогут использовать десятки команд внутри компании. Платформа должна позволять быстро запускать новые поиски и экспериментировать с логикой ранжирования.

• Использовать LLM для построения ML-пайплайнов
  Мы применяем LLM для описания логики ранжирования, генерации обучающих данных и помощи в настройке моделей. Вам предстоит реализовать такие механизмы внутри платформы.

• Заниматься дистилляцией моделей ранжирования
  Нужно будет превращать тяжёлые мощные модели в быстрые продакшн-модели, позволяющие соблюдать ограничения по латентности и не сильно уступающие в качестве учителю.

• Развивать систему метрик и evaluation
  Вы будете создавать инфраструктуру для измерения качества поиска в разных вертикалях. Это включает метрики, офлайн-evaluation и поддержку экспериментов.

Мы ждем, что вы:

• Обучали LLM или BERT-модели
• Уверенно владеете Python и работаете с SQL
• Увлечены ML, аналитикой и интеграцией моделей в реальные сервисы
• Хорошо разбираетесь в алгоритмах и структурах данных

Будет плюсом, если вы:

• Работали с поиском или рекомендациями