Управлять промпт инженерами, распределять нагрузку, подключать на запуск новых агентов и контролировать написание промптов.
Организовывать тестирование промптов перед каждым выпуском и принимать решение об их готовности на основе согласованных критериев качества.
Разрабатывать единые правила и шаблоны промптов: голос ассистента, стиль общения, ограничения, использование контекста и памяти.
Регулярно анализировать реальные диалоги и разбирать инциденты качества: выявлять причины ошибок, исправлять промпты и передавать технические дефекты ответственным командам.
На запусках обучать аналитиков и разработчиков писать, изменять и проверять промпты.
Вести очередь задач по промптам: принимать обращения, согласовывать приоритеты с руководителями развития навыков и контролировать сроки.
Сокращать промпты и объём контекста, проверяя сохранение качества ответов.
Развивать автоматизированные проверки совместно с техническими командами и контролировать надёжность используемых оценок.
Требования:
Опыт работы с системными промптами: написание промптов, проектирование инструкций, настройка поведения, управление контекстом и устранение противоречий.
Создание Flow агента.
Практический опыт создания и улучшения AI-ассистентов или других продуктов на базе языковых моделей.
Умение выстраивать оценку качества ответов: формировать тестовые наборы, критерии проверки и ожидаемые результаты, выявлять ухудшения после изменений.
Умение разбирать многошаговые диалоги с учётом истории, намерения клиента и возможностей навыка.
Понимание принципов поиска по базе знаний, вызова инструментов, маршрутизации запросов и работы памяти ассистента.
Опыт координации специалистов: планирование загрузки, постановка задач, проверка результатов и обучение.
Умение работать с данными, находить повторяющиеся ошибки и проверять эффект исправлений.