Senior Prompt Engineer (Agentic AI)

Мы автоматизируем банковское сопровождение контрактов юридических лиц: контролируем целевое расходование средств по инвестиционным проектам. Сейчас переводим ручные проверки платежей на AI-агентов: они классифицируют документы, анализируют условия контрактов и принимают решения о проведении платежа.

обязанности

Тебе предстоит:

• проектирование, разработка и оптимизация промптов для сложных LLM-агентов, способных к планированию, использованию внешних инструментов (tool calling) и работе с памятью
• создание сценариев взаимодействия между несколькими агентами (Multi-Agent Systems)
• разработка систем оценки качества ответов агентов: создание тестовых наборов данных (evals/harness), метрик точности, полноты, галлюцинаций и успешности выполнения задач
• проведение экспериментов по выбору моделей, тонкой настройки температуры и других гиперпараметров под конкретные бизнес-задачи
• обеспечение безопасности: проектирование защитных промпт-систем (отказоустойчивость к инъекциям, jailbreaks) и фильтрация нежелательного вывода.

Мы ожидаем, что ты имеешь:

• от 2 лет практического опыта разработки LLM-решений, AI-агентов, RAG-систем или prompt engineering
• опыт написания кода на Python: автоматизация экспериментов, работа с API LLM, создание оценочных скриптов и интеграция с внешними инструментами
• понимание принципов LLM и промпт-инжиниринга: знание техник Few-shot, Chain-of-Thought, ReAct, Self-Reflection, умение работать с контекстными окнами и системными сообщениями
• практика построения метрик и eval-пайплайнов: создание тестовых датасетов для оценки, выбор метрик (точность, полнота, F1, BLEU, оценка галлюцинаций) и автоматизация процесса тестирования
• навыки проведения экспериментов: сравнение моделей (GPT-4, Claude, Gemini, open-source LLM), варьирование гиперпараметров, анализ статистической значимости, визуализация результатов
• понимание безопасности LLM: векторы атак (prompt injection, jailbreaking), методы защиты (системные промпты-защитники, валидация вывода, песочницы), фильтрация нежелательного контента.

Будет плюсом:

• понимание работы агентных фреймворков: LangChain, LangGraph, CrewAI, AutoGen или аналогов
• понимание RAG и принципов индексации.

Условия

Мы предлагаем:

• комфортный современный офис рядом с м. Кутузовская
• формат работы – офис/гибрид
• ежегодный пересмотр зарплаты, квартальная и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.