Data QA Engineer (Machine Learning / ML Models)

«АйрисДев» — международная IT-компания, предоставляющая услуги по разработке и поддержке программного обеспечения, а также разрабатывающая собственные продукты для глобальных рынков. Мы фанаты своего дела и будем рады новым горящим глазам в нашей команде!

Мы занимаемся полным циклом разработки ML-решений: AI бот, система рекомендации, прогнозы. От обучения моделей до вывода их в продакшн. Мы ищем человека, который понимает, что тестирование машинного обучения отличается от тестирования калькулятора, и знает, как проверить качество предсказаний в динамической среде.

Мы ждём как абсолютно готового Data QA специалиста, так и человека, который готов разобраться вместе с нами.

Мы ждем от тебя:

• Опыт в QA от 2-3 лет: ты понимаешь теорию тестирования и умеешь работать с API (Postman, Requests). Проверяешь не только корректность статус-кодов (200 OK), но и логическую адекватность ответов моделей;

• Уверенный Python: умение читать код моделей и писать скрипты для обработки данных;

• Базовое понимание ML: ты знаешь, что такое Precision, Recall, F1-score, и понимаешь разницу между классификацией и регрессией;

• Математическая интуиция: понимание, почему результат модели может плавать и как отличить статистическую погрешность от критической ошибки кода. Умение создавать тесты, которые учитывают вероятностную природу ответов (statistical testing) вместо жесткого сравнения «ожидаемое == фактическое».

Чем предстоит заниматься:

• Построить Precision@K метрику для рекомендательной системы;

• Проверять корректность расчета фичей в ML pipeline;

• Писать простые SQL Select запросы;

• Создать тестовый датасет (input, expected_behavior, must_have, not_have);

• Вместе с MLops, ModelOps настроить регулярный прогон тестов;

• Разработать механизм проверки на prompt injection;

• Автоматизировать регрессионное тестирование модели RAGAS(Faithfulness) и т.д

Будет плюсом:

• Умения писать автотесты на Python для проверки пайплайнов обработки данных и вызова моделей.

• Опыт работы с Pandas, NumPy, Scikit-learn.

Мы предлагаем:​

• Официальное оформление по ТК РБ, отпуск + sick days;

• График работы 5/2 с гибким началом рабочего дня;

• Заработную плату с привязкой к курсу $;

• Корпоративные скидки на изучение иностранного языка;

• Компенсации занятий спортом;

• Доступ к программе Benefits.by;

• Скидку 50% на личные консультации с психологом на сервисе yasno.live;

• Корпоративное медицинское обслуживание в ЛОДЭ;

• Подарки от компании на день рождения, тимбилдинги и корпоративы.

Рабочее место планируется к созданию.

Просьба при отклике оставлять свой контакт-ник в телеграмме.