Специалист по тестированию и контролю качества ИИ управления исследований и методологии ИИ

Показать контакты

Описание вакансии

Обязанности:

Разрабатывать и актуализировать тест-план, тест-кейсы, чек-листы и матрицу качества для LLM/чат-бот/голосового бота.
Проводить функциональное, сценарное, негативное и устойчивое тестирование, включая регрессию при изменениях промптов/БЗ/модели.
Оценивать качество ответов по метрикам и классам (correct/partial/error/опасный/нарушение политики), формировать golden set тестовых запросов.
Анализировать логи/трассировки/дашборды, фиксировать дефекты, контролировать исправления и выявлять причины деградаций качества.
Готовить заключения go/no-go о готовности к UAT/пилоту/масштабированию/прому с учетом требований ИБ/ПДн.

Требования:

Высшее образование: техническое / ИТ / математическое / прикладная статистика / инженерное либо иное профильное.
Базовое понимание: тестирование ПО, основы анализа данных, логика бизнес-процессов.
Опыт работы в тестировании ИТ- или ИИ-решений от 1 года (QA, аналитик тестирования, тест-инженер, контроль качества сервисов).

Практический опыт:

• разработки тест-кейсов/чек-листов/матриц качества,

• проведения функционального и сценарного тестирования,

• фиксации дефектов, ведения баг-репортов, контроля исправлений.

Опыт анализа поведения системы по логам/трассировкам/дашбордам (поиск причин нестабильности, деградаций качества, аномалий).
Опыт подготовки отчетов/заключений по готовности решения к пилоту/масштабированию/промышленной эксплуатации.
Дополнительно:
тестирование LLM/NLP и диалоговых систем (функциональное/сценарное/негативное/устойчивостное), метрики и классификация качества ответов, разработка тест-артефактов (test plan/cases/checklists, golden set), LLMOps (версии, мониторинг, дрейф, трассируемость), анализ логов/дашбордов и дефект-менеджмент, критерии приемки и go/no-go, основы ИБ/ПДн/банковской тайны, грамотная коммуникация и отчетность.
Умение работать с офисными инструментами Microsoft Office (Word/Excel/PowerPoint) и корпоративными системами учета задач (Jira/аналог

Условия:

Достойная оплата труда
Участие в проектах Банка
Премирование (от выполнения KPI)
Возможность профессионального развития
Обучение за счет работодателя
Медицинское страхование (узкие специалисты, лечение у стоматолога, получение медикаментов, УЗИ и т.д.)
Материальная помощь (заключение брака, рождение ребенка и т.д.)
Отпуск 30 календарных дней
Лечебное пособие на оздоровление
Скидка на абонемент в популярный спортивный зал города
Участие в корпоративной жизни Банка
Участие в спортивных мероприятиях Банка (шахматы, теннис, футбол и т.д.)
Карьерный рост
Дружная команда