LLM-инженер

DUC Technologies – это быстроразвивающаяся консалтинговая компания в сфере IT, специализирующаяся на решениях в области управления данными, AI и прикладной Python-разработки.

Мы уже более 3 лет на рынке IT и за это время зарекомендовали себя как надежный партнер и работодатель.

Наша команда экспертов в сфере Big Data успешно работает в формате удаленного it-отдела. И будет рада принять тебя в теплую атмосферу нашей команды. Мы уважаем дисциплинированных, активных, ответственных и неординарных сотрудников.

Обязанности:

• Разработка и настройка чат-ботов и ассистентов, включая реализацию цепочек вызовов, механизмов памяти и fallback.
• Построение систем Retrieval-Augmented Generation (RAG): от разбиения данных на чанки до поиска релевантных результатов.
• Оптимизация затрат на вызовы LLM, работа с механизмами streaming и function calling.
• Интеграция API сторонних LLM (OpenAI, Claude, DeepSeek) и адаптация промптов под задачи.
• Работа с векторными хранилищами (FAISS, Pinecone) и графами знаний.
• Создание прототипов MVP интерфейсов для демонстрации функционала (HTMX/Bootstrap/Streamlit).
• Настройка инфраструктуры для LLM: подключение API, конфигурирование кэшей и систем очередей.
• Применение методов квантования моделей и организация fallback на локальные версии GPT.
• Мониторинг ключевых метрик и ведение логов работы систем.
• Работы с low code редакторами и настройка пайплайнов работы с LLM.

Требования:

• Продвинутое владение Python: опыт работы с asyncio, threading, multiprocessing, профилированием задач, чувствительных к памяти/CPU.
• Уверенное использование FastAPI в сочетании с Pydantic v2 для построения асинхронной архитектуры.
• Опыт проектирования схем данных, настройки индексов и работы с СУБД: PostgreSQL, Redis, MongoDB.
• Знание принципов контейнеризации: Docker, Docker Compose; базовое понимание Kubernetes.
• Способность оперативно создавать рабочие MVP в сжатые сроки.
• Умение самостоятельно определять задачи и подбирать оптимальные архитектурные решения.
• Опыт взаимодействия с любыми API LLM

Будет плюсом:

• Навыки быстрого прототипирования пользовательских интерфейсов (HTMX/Bootstrap/Streamlit).
• Знания в области построения RAG-систем: выбор подходящих векторных БД и графов знаний.
• Практический опыт настройки систем очередей сообщений: RabbitMQ, Kafka; работа с Celery — реализация retry-логики, dead-letter очередей.
• Опыт работы с vLLM;
• Опыт работы с провайдером ollama и библиотеками llamaindex, langchain, mcp, a2a;
• Опыт разбиения на чанки и оптимизация точности LLM-моделей;
• Опыт fine-tuning LLM моделей.

• ​​​​​​​​​​​​​​Удаленный формат работы;
• Работа в аккредитованной IT компании;
• Гибкий график работы 5/2, с 9.00- 18.00 или другой по согласованию (суббота, воскресенье и праздничные - выходные)