Инженер по автоматизированному тестированию (Python)

Мы - команда кластера Технологии развития бизнеса, которая отвечает за направление AI функциональности. Наша задача - построить мультиагентную систему, которая сопровождает будущих предпринимателей от идеи до полноценной регистрации бизнеса. Ваша задача — обеспечить надёжность, точность и безопасность работы этого конвейера от разработки до продакшена.. Вместе мы меняем привычные процессы и разрабатываем принципиально новые продукты и решения.

Мы ищем проактивного, ответственного и инициативного QA, который сможет выстроить взаимоотношения с командой и смежными подразделениями для достижения целей.

Это отличный шанс проявить себя и стать частью перспективного проекта.

Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры.

ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

• Тестировать агентов и сценарии
• Разрабатывать и поддерживать тест-кейсы для проверки функциональности, логики и поведения каждого AI-агента системы
• Тестировать диалоговые сценарии онбординга: от первого вопроса до финального шага регистрации бизнеса
• Проводить регрессионное, интеграционное и end-to-end тестирование всего пайплайна агентов
• Валидировать качество ответов агентов: релевантность, точность, безопасность, отсутствие галлюцинаций
• Оценивать качество LLM-ответов
• Выстраивать evaluation-фреймворки: exact match, semantic similarity, LLM-as-judge, BLEU/ROUGE/BERTScore
• Верифицировать корректность tool-calling, planner-executor loops, межагентных handoff-ов
• Валидировать state management, context windows и memory-компоненты агентов
• Создавать автоматизированные тесты для API-интерфейсов агентов, бизнес-логики и UI (если есть)
• Интегрировать тесты в CI/CD-пайплайн
• Разрабатывать reusable тестовые артефакты: scenario configs, synthetic datasets, prompt libraries
• Реализовывать chaos-сценарии: degraded API, latency spikes, failover
• Отслеживать SLO по латентности LLM-вызовов и инструментов агентов
• Анализировать логи, метрики и паттерны ошибок для выявления системных проблем
• Документировать баги, тест-планы и отчёты о качестве в Jira/Confluence
• Готовить сводные отчёты по каждому релизу с go/no-go рекомендацией.

Требования

• Опыт тестирования от 2 лет, включая автоматизированное тестирование
• Понимание принципов работы LLM и AI-агентов: RAG, tool use, memory, оркестрация
• Знание Python — написание тест-харнессов, скриптов автоматизации, работа с API
• Знание методологий тестирования: функциональное, интеграционное, регрессионное, E2E
• Опыт работы с REST API: написание и отладка API-тестов
• Знание SQL — проверка данных, валидация состояний в БД.

Условия

• комфортный современный офис рядом с м. Кутузовская проспект
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.