Руководитель качества AI платформы

Мы строим собственную агентскую платформу корпоративного уровня— enterprise-аналог открытых агентских систем.

Платформа уже в проде: на ней работают AI-агенты, есть production-monitoring, Prometheus/Grafana, метрики, eval-тесты и датасеты. Ваша задача — объединить эти практики в единую измеримую систему качества.

Роль на стыке SRE, Platform Engineering и AI/LLM-качества: вы задаёте стандарты, метрики и quality gates — большая команда разработки применяет их в своих компонентах. Вы сохраняете независимую картину состояния платформы и контролируете выполнение требований по объективным показателям.

Стек: LLM, MCP, RAG, Python, Rust, TypeScript

Чем предстоит заниматься:

• Определять SLI/SLO, критерии production readiness и показатели качества платформы и агентов.

• Развивать observability: дашборды и алерты, находить слепые зоны, следить за capacity.

• Развивать evals: датасеты, regression suites, критерии качества, LLM-as-judge.

• Встраивать обязательные quality gates в CI/CD, задавать требования (guardrails) к разработке агентов.

• Выявлять деградации и системные риски по метрикам и production-данным.

• Участвовать в разборе значимых инцидентов, контролировать устранение системных причин.

• Давать руководству прозрачную картину качества платформы и рисков.

Наши ожидания:

• Сильный инженерный опыт: SRE / Platform Engineering / MLOps-LLMOps.

• Kubernetes/Docker, CI/CD, Prometheus/Grafana, logging/tracing, performance и capacity.

• SLA/SLO/SLI, incident management, postmortem, production reliability.

• Понимание современных LLM и agentic-систем: agents, tool calling, RAG, MCP, routing, context management, evals.

• Умение смотреть на систему целиком и добиваться применения стандартов несколькими командами.

• Самостоятельность, проактивность, умение аргументированно общаться с инженерами и руководством.

Главный результат

Единая система качества: понятное состояние платформы, измеримое качество агентов, критичные проверки встроены в релизный процесс, деградации быстро обнаруживаются, а проблемы приводят к системным улучшениям.

• Официальное трудоустройство и полный пакет социальных льгот (ДМС, компенсация фитнеса/обучения/путешествий, скидки и бонусы от партнеров, специальные условия и тарифы на продукты «Финама»).

• Стабильную заработную плату и социальные гарантии, которые дают уверенность в настоящем и открывают перспективы в будущее.

• Возможность профессионального роста, обучения и постоянного развития в области digital-innovations вместе с дружной командой. Лучшие конференции и мастер-классы за счет компании.

• Участие в проектах, которые формируют цифровую трансформацию финансового сектора.

• Гибридный формат работы (2 дня офис). Комфортный офис в центре Москвы с зоной отдыха на крыше, кофе-поинтами с ароматным кофе, а также собственный тренажерный зал.

• Богатую корпоративную культуру: классные внутрикорпоративные мероприятия, сообщества по интересам, возможность проявлять свои творческие, спортивные, интеллектуальные, социальные интересы и участвовать в креативных проектах.