О роли: Мы создаем AI Box, готовый продукт с набором типовых AI-агентов для бизнес-процессов, таких как бухгалтерия, закупки, производство и другие, с коннекторами к популярным системам. Ищем опытного промпт инженера с реальным корпоративным опытом, который поможет сделать работу ИИ точной, предсказуемой и полезной для пользователей.
Задачи:
- Разрабатывать, тестировать и улучшать промпты и системные инструкции для LLM (GPT, Claude, Gemini, open-source моделей).
- Проектировать сценарии работы ИИ-ассистентов, чат-ботов и агентов под бизнес-задачи.
- Создавать наборы тестовых кейсов и оценивать качество ответов моделей, в том числе по метрикам и с помощью автоматической оценки (LLM-as-a-judge).
- Снижать количество галлюцинаций, ошибок форматирования и нежелательных ответов.
- Работать с RAG-системами: подбирать формат контекста, структуру запросов и инструкций для работы с базой знаний.
- Оптимизировать промпты по качеству, скорости и стоимости (токены, выбор модели).
- Взаимодействовать с продуктовой командой, разработчиками и аналитиками: собирать требования и переводить их в работающие решения.
- Вести документацию: библиотеку промптов, гайдлайны, результаты экспериментов.
Требования:
- Опыт практической работы с LLM от полугода в коммерческих или серьёзных пет-проектах.
- Понимание принципов работы языковых моделей: контекстное окно, токены, temperature, few-shot, chain-of-thought, structured output.
- Опыт работы с LLM, включая облачные модели.
- Умение системно тестировать гипотезы и аргументировать решения данными, а не ощущениями.
- Отличное владение русским языком, грамотная и структурированная письменная речь.
- Английский на уровне чтения технической документации.
- Внимательность к деталям и аналитическое мышление.
Условия:
- Оплата: условия обсуждаются индивидуально с каждым кандидатом.
- Москва, офис. Сейчас метро Кунцевская, в ближайшие месяцы переезд на метро Динамо.
- Первое время работа из офиса, затем возможен гибридный формат. Полная удаленка не предусмотрена.
- Официальное оформление по трудовому договору.