Разработчик машинного обучения (ML, LLM)

Мы создаём внутреннюю платформу AI-агентов для автоматизации ключевых операционных процессов: от контроля качества до управления цепочкой поставок.

Прямо сейчас мы решаем одну из самых нетривиальных инженерных задач в отрасли: глубокую интеграцию локальных больших языковых моделей (on-premise LLM) с корпоративной системой управления (ERP) в регулируемой среде с требованиями FDA, EMA и EU AI Act. Здесь нет типовых решений - только реальные производственные данные и прямое влияние на бизнес.

Вам предстоит:

Интеграция больших языковых моделей (LLM) с ERP
- Реализовывать вызовы больших языковых моделей (LLM) из среды разработки ERP.

Логирование и ALCOA+
- Реализация неизменяемого логирования всех LLM-запросов: промпт, модель, ответ, метаданные использования токенов;
- Хранение с криптографическим хешированием, шифрованием и резервными копиями.

Кэширование и производительность
- Настройка пула соединений между ERP и LLM-сервером;
- Реализация кэширования типовых запросов и пакетной обработки (batch processing) для снижения нагрузки на GPU.

Инфраструктура инференса
- Развёртывание и настройка LLM-серверов, балансировщика нагрузки, автоматического переключения при отказе;
- Настройка мониторинга инфраструктуры: нагрузка, температура, задержка, частота ошибок.

Оркестрация агентов
- Реализация графа агентов: состояния, переходы, условия, асинхронные вызовы через очередь сообщений;
- Покрытие тестами всех сценариев: успех, таймаут, недоступность LLM, невалидный ответ.

Нам важно:

• Опыт разработки и интеграции LLM;
• Опыт работы с ERP-системами;
• Опыт построения отказоустойчивых систем;
• Знание принципов неизменяемого логирования и стандартов ALCOA+;
• Опыт работы с очередями сообщений;
• Навыки написания модульных и интеграционных тестов.

Будет плюсом:

• Опыт развёртывания ML-инфраструктуры;
• Знание инструментов мониторинга.