Аналитик по качеству рекомендаций агентных систем

Команда отвечает за повышение качества персонализированных рекомендаций для развития корпоративных клиентов. Ищем эксперта, умеющего выявлять недостатки в ответах агентов, видеть закономерности и переводить бизнес-спефифику в четкие правила работы. Важны аналитика качества и бизнес-понимание, техническая база (LLM/Python) — плюс.

Обязанности

• качество и разбор кейсов. Выявлять дефекты ответов (логика, арифметика, сопоставимость периодов, структурные ошибки JSON, неверный выбор инструмента), группировать их в паттерны причин, формировать гипотезы улучшений.
• правила и стандарты. Определять формат межагентных сообщений, политику «когда считаем в модели/через инструмент/в Python», описывать «как выглядит хороший ответ» для разных зон внимания и отраслей, формулировать критерии приёмки.
• эксперименты. Планировать и проводить эксперименты «до/после» (промпты, параметры, инструменты), фиксировать эффект по качеству, стоимости и задержке.
• взаимодействие. Работать в связке с Python-разработчиками и промт-инженерами: постановка задач, проверка результатов, упаковка решений «в пакет на внедрение».

Требования

• опыт анализа данных (Middle+): формулировка гипотез, подбор метрик, построение расчетов, сравнение периодов, фиксация выводов
• знание бизнес-аналитики: финансы, структура затрат, экономика продукта, цепочка создания стоимости
• Python (Jupyter, pandas, numpy, scipy, scikit-learn, matplotlib/plotly)
• базовое понимание LLM: промпты, JSON/schema, function calling, параметры инференса

Будет плюсом:

• опыт с GigaChat SDK, LangGraph, LangChain, LlamaIndex
• навыки работы с pydantic, jsonschema, jinja2, httpx/aiohttp, asyncio
• знание инструментов RAG, KAG, MCP; опыт реализации проектов с заметными улучшениями.

Условия

• комфортный современный офис рядом с м. Кутузовская
• корпоративный спортзал и зоны отдыха
• программа адаптации и помощь руководителя на старте
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• ипотека выгоднее до 4% для каждого сотрудника
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера