разработка стратегии тестирования и QA-фреймворков для LLM- и voice-продуктов;
настройка и поддержание инфраструктуры бенчмарков с участием DevOps и Data-разметки;
формирование прозрачной системы оценки качества генерации и обновлений моделей;
разработка и автоматизация интеграционных, регрессионных и нагрузочных тестов;
анализ метрик качества модели, совместно с ML-инженерами;
участие в построении процессов CI/CD и quality gates;
ведение внутренней документации и QA-отчётности.
Зона ответственности
все процессы QA внутри Voice-команды;
влияние на качество итоговых LLM-инференсов и голосовых сценариев;
участие в релизах, контроль стабильности после обновлений;
консультации разработчиков по вопросам качества и тестируемости.
4+ лет в QA;
опыт тестирования API;
опыт построения QA процессов;
практический опыт в проектах, связанных с ML/AI/LLM Based;
опыт оценки качества генерации/построения LLM-бенчмарков;
Python, git, docker;
опыт написания интеграционных и регрессионных тестов;
тестирование ML/LLM-систем;
понимание принципов работы LLM (inference, prompt engineering, токенизация, temperature, top-k/p, stop tokens и др.).
работа в продуктовом AI-стартапе с собственными LLM-технологиями;
возможность влиять на архитектуру и качество ключевых AI-систем;
команда инженеров, которые любят эксперименты и быстрые результаты;
гибкий график и формат работы (релокация в офис на Кипре/удалённо из любой точки мира);
дополнительные условия обсуждаются индивидуально в зависимости от локации кандидата.
STARTRIBE LTD
Кипр
Не указана
Мы — быстрорастущая международная компания в сфере iGaming, специализирующаяся на онлайн-казино и спортивных ставках.
Кипр
от 5000 USD