О компании
Внутренняя AI-R&D лаборатория технологической компании занимается созданием и тестированием AI-агентов и ассистентов для превращения бизнес-гипотез в работающие продукты.
Задачи
- Выстраивать процессы разработки и тестирования GenAI-решений, внедрять подход Evaluation-Driven Development.
- Создавать инструменты для массового тестирования LLM, AI-агентов и ассистентов.
- Разрабатывать бенчмарки и метрики для оценки качества AI-моделей и готовых решений.
- Проектировать сценарии тестирования, валидационные пайплайны и механизмы проверки ответов моделей.
- Анализировать поведение LLM, выявлять ошибки и нестабильные результаты, улучшать качество AI-решений.
Что важно
- Уверенно владеть Replit и иметь практический опыт создания AI-решений.
- Иметь опыт работы с LLM API, AI-агентами, ассистентами или другими GenAI-продуктами.
- Понимать принципы оценки качества LLM и уметь системно тестировать результаты работы моделей.
- Навыки написания системных промптов, работы с контекстом и структурированными ответами.
- Уметь самостоятельно находить технические решения, проверять гипотезы и доводить задачи до результата.
- Будет плюсом: опыт разработки на Python, создания API и интеграции AI-сервисов.
- Будет плюсом: знание LangChain, LangGraph, RAG и подходов к созданию AI-агентов.
Стек или инструменты
Replit · LLM API · Python · LangChain · LangGraph · RAG
Условия
Уровень дохода обсуждается на первом звонке.
Как проходит отбор
Отклик → звонок рекрутера Zenyxe → встреча с командой → решение.