Senior QA Automation Engineer (Generative AI)

Ipoteka Bank OTP Group ищет Senior QA Automation Engineer (Generative AI) в команду Applied AI & Innovation.

Если вам интересно работать на стыке QA, Data Analysis и Generative AI, участвовать в создании AI-продуктов для тысяч пользователей и влиять на качество решений на базе LLM и Computer Vision — будем рады познакомиться.

Чем предстоит заниматься

Тестирование AI-решений

• Проводить ручное и автоматизированное тестирование AI-продуктов.
• Разрабатывать и поддерживать автотесты для функционального, регрессионного и performance-тестирования.
• Создавать и поддерживать evaluation pipelines для LLM и Computer Vision решений.
• Проверять качество ответов моделей по параметрам:
  1. accuracy;
  2. relevance;
  3. hallucinations;
  4. safety;
  5. tone of voice.
• Выявлять, документировать и сопровождать дефекты в Jira.
• Определять quality gates и критерии приемки.

Работа с данными

• Подготавливать тестовые и оценочные датасеты.
• Собирать, очищать, размечать и структурировать данные.
• Формировать golden datasets и наборы edge-cases.
• Анализировать результаты тестирования, метрики качества и производственные данные.
• Разрабатывать системы оценки (metrics & rubrics) для AI-решений.
• Создавать отчеты и дашборды по качеству продуктов.

Agile и управление процессом разработки

• Декомпозировать задачи AI-команды на user stories и технические задачи.
• Вести и поддерживать backlog в Jira.
• Участвовать в Scrum-процессах: planning, daily, review, retrospective.
• Контролировать прогресс, зависимости и блокеры команды.

Работа с современными AI-инструментами

• Использовать Claude Code, Cursor или аналогичные agentic coding tools.
• Тестировать агентные AI-системы и многошаговые AI workflows.
• Контролировать качество решений с автономным выполнением задач и использованием инструментов.

Мы ожидаем

Опыт

• От 3 лет опыта в Software QA.
• Коммерческий опыт ручного и автоматизированного тестирования.
• Практический опыт работы по Agile/Scrum.
• Опыт работы с Jira.

Технические навыки

• Python (желательно).
• Опыт работы с фреймворками тестовой автоматизации.
• Понимание CI/CD процессов.
• SQL и анализ данных.
• Навыки визуализации данных и интерпретации результатов.
• Опыт подготовки и управления датасетами.

Будет преимуществом

• Опыт работы с LLM и Generative AI.
• Понимание принципов оценки AI-моделей и prompt testing.
• Знание MLOps / LLMOps.
• Опыт тестирования conversational AI и agentic AI systems.
• Опыт работы в банках, финтехе или других регулируемых отраслях