Ростов-на-Дону, улица Максима Горького
Привет! Мы — SHEVEREV, аккредитованная IT-компания, занимающаяся разработкой веб-сервисов и мобильных приложений различной сложности.
Мы создаем цифровые продукты, которые меняют мир. От платформ для онлайн-обучения до удобных сервисов для путешествий. Мы работаем с лидерами российского и зарубежного рынков, решая самые сложные задачи с помощью передовых технологий.
Вакансия открыта на аутстафф-направление.
Чем предстоит заниматься:
Проектировать и внедрять валидационные пайплайны для LLM, RAG и агентных систем (датасеты, версионирование, CI/CD для AI).
Строить систему оценки качества: Offline-метрики (BLEU/BERTScore/LLM-as-Judge) + Regression testing + Human evaluation + A/B тесты.
Разрабатывать production-ready ML/GenAI-сервисы на Python (FastAPI, asyncio) под высокие нагрузки.
Интегрировать инструменты observability (LangFuse, DeepEval, MlFlow, LangSmith) для мониторинга и отладки агентов в продакшене.
Работать с LLM API и фреймворками (LangChain, LangGraph), проектировать сложные агентные workflows (function calling, structured output).
Настраивать векторные БД (Milvus / Qdrant / FAISS / pgvector) для RAG и оценки их влияния на ответ модели.
Драйвить best practices внутри команды: внедрять культуру экспериментов и воспроизводимости.
Требования:
Коммерческий опыт разработки на Python от 4 лет.
Построение систем оценки качества ML/GenAI: понимание трейдофов между офлайн-метриками, эвалюацией человеком и A/B тестами.
Опыт с валидационными фреймворками: DeepEval, LangFuse, MlFlow, LangSmith или аналогами.
Понимание разницы между классическим ML и LLM/Agents.
Работа с LLM API и реализация сервисов (диалоговые агенты, RAG, Agent workflows).
LangChain / LangGraph на практике (или аналоги), знание подходов к разработке агентов.
FastAPI + asyncio, дизайн чистых API, интеграция с бэкендом.
Любая векторная БД (Milvus, Qdrant, FAISS, pgvector) — настройка, индексация, гибридный поиск.
Понимание архитектур современных LLM (Transformer, attention, fine-tuning стратегии).
Практический опыт инференса и дообучения open-source LLM (Llama, Mistral, Qwen, DeepSeek и др.).
Условия:
ФГАНУ НИИ Спецвузавтоматика
Ростов-на-Дону
до 180000 RUR
Цифровые Контрольные Технологии
Ростов-на-Дону
до 150000 RUR