QA Automation Engineer (Python)

ИТ B2C — крупнейшая экосистема Сбербанка, объединяющая свыше 8000 специалистов из 18 городов России, создающих удобные и защищённые розничные банковские сервисы. Команда ИИ-сценариев и комплексных решений проектирует и внедряет инновационные AI-решения для оптимизации взаимодействия банка с клиентами, используя самые современные технологии обработки естественного языка и машинного обучения.

Первый этап отбора на эту вакансию — общение с AI- рекрутером. После отклика вам на почту придёт приглашение пройти первичное интервью с ГиаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГиаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

• разрабатывать и поддерживать тесты для ИИ-агентов (чат-агенты, автономные ассистенты, multi-agent системы)
• писать специализированных «агентов-проверяющих» на Python — программных ассистентов, которые тестируют поведение, логику и безопасность других ИИ-агентов
• проектировать сценарии для проверки корректности, согласованности, устойчивости к манипуляциям и соблюдению инструкций
• анализировать логи взаимодействий, выявлять edge-кейсы и системные риски
• участвовать в формировании стратегии обеспечения качества для генеративных ИИ-систем.

Требования

• опыт автоматизированного тестирования на Python (pytest, requests, asyncio и др.)
• уверенное владение основами тестирования: жизненный цикл ПО, виды тестирования (функциональное, регрессионное, интеграционное и др.), методологии (Agile/Scrum), метрики качества
• навыки построения и актуализации тестовых моделей (например, на основе требований, user stories или архитектурных диаграмм) для выявления ключевых сценариев и рисков
• понимание принципов работы LLM и ИИ-агентов (промпты, инструменты, память, цепочки рассуждений)
• умение проектировать сложные тестовые сценарии для нетривиальных систем
• опыт валидации поведения систем без чёткого «правильного ответа» (open-ended output)

Будет большим плюсом:

• знание и практическое применение подхода LLM-as-a-Judge для оценки качества ответов агентов
• опыт использования LLM в качестве инструмента анализа или оценки
• участие в тестировании RAG-систем, multi-agent окружений или агентов с внешними инструментами.

Условия

• работа в современном и комфортном офисе рядом с метро Кутузовская
• расширенный ДМС и льготное страхование для семьи
• уникальная система обучения Сбера для профессионального и карьерного развития
• выгодная ипотека для сотрудников выгоднее
• бесплатная подписка СберПрайм+, скидки на продукты компании-партнёров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.