Senior QA Engineer

Кто мы?

EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта.

Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу для создания и оркестрации AI-агентов.

Работаем с крупным российским и международным бизнесом.

Чем предстоит заниматься

• Разрабатывать и поддерживать QA-стратегию и процессы тестирования продукта.

• Тестировать как классическую веб-часть продукта — Flask API, Next.js UI, так и AI-функциональность.

• Развивать автоматизацию тестирования:

  • Python + pytest на backend;

  • testcontainers для интеграционных тестов;

  • Vitest / Jest + React Testing Library на frontend;

  • Playwright / Cypress для E2E.

• Проводить API-тестирование REST API и проверять соответствие OpenAPI-контрактам.

• Работать с unit / integration / E2E тестами, фикстурами, параметризацией и моками.

• Тестировать распределенные сценарии: Celery, Redis, асинхронные процессы, очереди, eventual consistency.

• Проверять работу с PostgreSQL, миграциями Alembic и корректностью tenant-scoping.

• Настраивать и поддерживать quality gates в CI/CD: coverage, type-check, линтеры, автоматический прогон тестов и E2E.

• Тестировать AI-функциональность: LLM-агентов, RAG-пайплайны, промпты, tools и интеграции с LLM-провайдерами.

• Участвовать в создании eval-наборов и регрессионных тестов для AI-агентов, оценивать качество ответов и RAG-ретривала.

• Находить узкие места в текущем тестировании и предлагать способы сделать процесс надежнее и быстрее.

• Взаимодействовать с разработчиками и продуктовой командой на всех этапах разработки — от постановки задачи до релиза.

• Участвовать в code review тестов и помогать повышать качество разработки.

Что мы ожидаем

• 5+ лет опыта в QA / тестировании для Senior уровня.

• Опыт построения или развития автоматизированного тестирования.

• Уверенный Python и практический опыт с pytest.

• Опыт работы с фикстурами, параметризацией, моками и интеграционными тестами.

• Опыт тестирования backend на Flask / FastAPI / Django или аналогичном стеке.

• Опыт автоматизации frontend с Playwright / Cypress и Vitest / Jest + React Testing Library.

• Хорошее понимание API-тестирования, REST и OpenAPI.

• Опыт работы с PostgreSQL и понимание принципов работы миграций.

• Понимание CI/CD, Docker и GitHub Actions.

• Понимание принципов тестирования распределенных и асинхронных систем.

• Умение самостоятельно разбираться в продукте, находить риски и предлагать решения.

• Понимание того, как балансировать качество, риски и скорость разработки.

Будет большим плюсом

• Опыт тестирования LLM-приложений, AI-агентов или ML-продуктов.

• Практический опыт с RAG и оценкой качества AI-систем.

• Опыт работы с Langfuse, Opik, Weave или аналогичными инструментами для eval и observability.

• Опыт с vector DB: pgvector, Qdrant, Weaviate, Pinecone и др.

• Опыт нагрузочного, security или chaos-тестирования.

• Опыт работы с Celery / Redis и другими очередями.

• Опыт работы в продуктовой команде и участия в формировании QA-процессов с нуля.

Условия

• Удаленный формат работы.

• Рабочий график: 09:00–18:00 по МСК.

• Работа над собственным AI-продуктом, который активно развивается.

• Сильная техническая команда и возможность влиять на процессы и качество продукта.

• Возможность профессионального роста в направлении QA Automation и тестирования AI-систем.

В сопроводительном письме расскажите, пожалуйста:

• о вашем опыте автоматизации тестирования;

• какие инструменты и технологии используете;

• был ли у вас опыт работы с AI / ML / LLM-продуктами.