Python/Prompt AutoQA

Digital Chief — IT-хаб новой ecom-платформы от Альфа-Банка, где мы объединяем экспертизу по построению процессов и технологий вокруг нового продукта на рынке.

Мы строим независимый e-com — единый мультиканальный сервис Альфа-Селлер.

Он объединит инструменты для работы на маркетплейсах , полный спектр решений для создания собственного интернет – магазина и управление кросс - канальными продажами в одном пространстве.

Наша ключевая задача — помочь селлерам снизить зависимость от отдельных площадок и выстроить устойчивую стратегию развития бизнеса.

Мы уже запустили e-com в Альфа-Банке и нашими продуктами воспользовались более 4000 селлеров.

Чем предстоит заниматься:

• Строить и развивать автоматизацию продуктов: API-тесты, проверки бизнес-логики, ключевые пользовательские сценарии;
• создавать и поддерживать инфраструктуру для AI-сценариев: наборы тестовых кейсов, автоматические метрики качества, LLM-as-a-judge, сравнение версий промптов и моделей;
• прогонять регрессии при каждом изменении промпта, модели или контекста и не допускать незаметной деградации качества ответов;
• формировать тестовые наборы из реальных данных и логов, включая крайние, конфликтные и редкие случаи, на которых решения ломаются чаще всего;
• проверять устойчивость AI-сценариев к некорректным и злонамеренным вводам: попытки обойти инструкции, извлечь системный промпт, спровоцировать некорректный ответ;
• контролировать корректность финансово значимой логики - комиссии, удержания, расчёты по отчётам маркетплейсов - там, где ошибка означает прямые потери;
• встраивать тесты в CI/CD: автоматический запуск, понятные отчёты, блокировка выката при падении критичных проверок;
• настраивать тестовые данные и окружения, включая моки нестабильных внешних API маркетплейсов;
• анализировать инциденты и дефекты, находить первопричины и закрывать их новыми проверками, чтобы одна и та же ошибка не повторялась;
• формировать понятную картину качества для команды и руководства: какие сценарии покрыты, где риски, что мешает выкатывать быстрее;
• участвовать в разработке AI-решений вместе с командой и владельцами процессов - подтверждать готовность к запуску на реальных пользователях.

Что мы ищем в кандидате:

• От 2 лет в автоматизации на Python с реально работающим тестированием на продакшене сервисов, а не набором разрозненных скриптов;
• уверенное владение Python, pytest и его экосистемой: фикстуры, параметризация, моки, организация растущего тестового проекта;
• опыт написания и тестирования REST API и сервисов с внешними интеграциями, включая нестабильные и ограниченные по лимитам;
• практический опыт работы с LLM: промпт-инжиниринг, работа с API провайдеров, понимание недетерминированности и типовых режимов отказа моделей;
• понимание того, как измерять качество генеративных решений: построение тестовых наборов, метрики, воспроизводимое сравнение версий;
• уверенный SQL для подготовки и проверки данных, самостоятельный разбор логов и выгрузок;
• docker, Git, CI/CD и опыт встраивания тестов в пайплайн;
• опыт e2e-тестирования веб-интерфейсов (Playwright или Selenium) будет преимуществом;
• опыт нагрузочного тестирования и проверки отказоустойчивости - будет преимуществом.

Что мы предлагаем:

• Официальное трудоустройство по ТК РФ в аккредитованную IT компанию;
• заботу о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества. Также есть фитнес-зал в офисе;
• доступ к сервису "Понимаю": консультации с психологами, юристами, ЗОЖ-экспертами и специалистами по финансам;
• доступ к сервису Best Benefits: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты;
• гибридный формат работы (2-3 дня из офиса): наш современный офис находится в банковском кластере в 3-х минутах ходьбы от метро Технопарк. Рядом большой выбор кафе и ресторанов, где ты сможешь разнообразно пообедать с коллегами, сменить обстановку и перезагрузиться.