LLM/AI QA testing engineer (Python)

Показать контакты

Описание вакансии

Чем предстоит заниматься:

Контроль корректности данных: валидация схем, аномалий, дубликатов, несоответствий, outliers
Разработка и поддержка стратегий тестирования для data-пайплайнов и ML-моделей
Проведение ручного и автоматизированного тестирования ETL/ELT процессов
Создание тестов на стабильность и воспроизводимость предсказаний
Участие в CI/CD процессах — автоматическая проверка данных и моделей

Наши ожидания от кандидата:

Высшее техническое образование
Опыт работы на LLM-проектах (от 1–2х лет)
Уверенное знание SQL и понимание принципов работы СУБД (PostgreSQL, ClickHouse и др.)
Опыт работы с Python (в том числе pandas, pytest, great_expectations или аналогами)
Опыт тестирования REST API, Kafka/S3/Snowflake/DataLake
Понимание DevOps-практик и CI/CD (Git, Docker, GitLab CI и др.)
Опыт в автотестировании и стресс-тестировании
Опыт работы в поисках галлюцинаций AI/LLM/ML
Опыт выявления false positive / false negative в ML-моделях

Что мы предлагаем взамен:

Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
Сложные и интересные задачи, современный стек технологий
Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины