Промпт-инженер в Яндекс Учебник

Мы рассматриваем на частичную занятость от 20 часов в неделю.

Яндекс Учебник запускает AI-репетиторов по разным предметам для 5–11 классов, работающих по российской школьной программе. Мы создаем как чат-боты поверх LLM, так и полноценный продукты: голосовое взаимодействие, адаптирующаяся визуализация, мульти-агентная архитектура, собственные пайплайны оценки качества и итеративная работа с педагогическими гипотезами.
Мы ищем специалиста на стыке промпт‑инжиниринга и педагогического дизайна — того, кто сможет превратить мощные языковые модели в эффективных и понятных цифровых наставников для школьников.

Чем предстоит заниматься?

• Проектировать и поддерживать промпты для разнообразных AI-тьюторов в том числе в мультиагентной архитектуре.

• Разрабатывать и калибровать LLM-as-a-Judge.

• Выстраивать циклы оценки: от golden-датасетов до сравнения моделей и параметров.

• Работать с педагогической рамкой: скаффолдинг, теория когнитивной нагрузки, таксономии (DoK, Bloom, SOLO), типология математических ошибок.

• Совместно с ML-инженерами проектировать архитектуру агентной системы.

• Участвовать в выборе и адаптации бенчмарков и строить собственные русскоязычные оценочные пулы для 5–11 классов.

Что мы ожидаем от вас?

Стек: Python, Claude Sonnet & Opus / Gemini Pro & Flash, Langfuse, LangGraph, опционально DSPy.

• Eval‑driven мышление. Способность мыслить в цикле «гипотеза → критерий → метрика → измерение → итерация». Вы должны задавать вопросы о golden‑датасете и метриках успеха до того, как начнёте писать промпт.

• Опыт работы с LLM‑as‑a‑Judge. Практический опыт построения и валидации автоматизированных «судей». Знание и понимание ключевых метрик:

  • Precision, Accuracy, Recall, F1;

  • weighted Cohen’s κ;

  • Spearman;

  • MAE/RMSE и др.

• Промпт‑инжиниринг как инженерия. Владение и понимание техник промпт‑инжиниринга, а не просто их знание:

  • цепочка рассуждений (Chain-of-Thought);

  • few‑shots;

  • структурированный вывод;

  • самосогласованность;

  • ролевая установка;

  • декомпозиция промпта.

• EdTech‑грамотность. Наличие хотя бы одного из пунктов:

  • опыт работы в EdTech‑продукте;

  • системное знание педагогических рамок (скаффолдинг, теория когнитивной нагрузки (CLT), таксономии Блума (Bloom), DoK, SOLO);

  • опыт преподавания школьникам или репетиторства (математика, информатика, русский язык).

• Гигиена работы с данными. Понимание методологий разметки данных:

  • принцип двойного перекрытия;

  • согласованность между разметчиками;

  • предотвращение утечки данных между обучающей (train) и оценочной (eval) выборками;

  • чувствительность к формулировкам промптов.

Будет плюсом:

• опыт работы с DSPy и programmatic prompting, понимание работы оптимизаторов;

• опыт с фреймворками для построения агентных систем: LangGraph, Pydantic AI, OpenAI Agents SDK;

• знание паттернов проектирования мультиагентных систем;

• опыт spec‑driven разработки и осознанного использования AI‑ассистентов для кодирования (Claude Code, Cursor), понимание их сильных и слабых сторон.

Что мы предлагаем?

• Удаленный формат сотрудничества.

• Мы используем современные мессенджеры и Zoom.

• Свободу при выполнении своих обязанностей и отсутствие микроменеджмента: мы доверяем вовлечённым и проактивным.

• Участие в создании образовательных продуктов, которых еще не было на рынке РФ.

• Команду, которая стремится сделать качественный и востребованный продукт.