Middle Automation QA (AI / LLM)

О проекте

AI-платформа с LLM + LangChain, RAG, streaming, multi-model orchestration.

Задачи

Автоматизация тестирования API (FastAPI)

Тестирование LLM пайплайнов (LangChain chains, agents, tools)

Проверка RAG (качество ответов, регрессия, edge cases)

Тесты streaming (SSE / WebSocket)

E2E тесты

Нагрузочные тесты AI-эндпоинтов

Моки LLM / embeddings

Требования

Python

Pytest

API testing (REST)

Понимание асинхронности

Опыт automation QA от 2 лет

LangChain / LLM

Playwright

k6 / Locust

Vector DB (Qdrant / Pinecone)