Разработчик / Инженер локальной RAG‑LLM системы

Барнаул, улица Короленко, 75

Показать контакты

Описание вакансии

Обязанности:

Внедрить и адаптировать офлайн LLM для работы с корпусом школьных учебников.
Настроить и интегрировать готовый RAG-пайплайн в существующую систему.
Организовать обработку базы знаний: конвертация документов (PDF/DOCX → текст) при необходимости, предобработка, очистка и чанкинг.
Настроить и оптимизировать векторное хранилище (ChromaDB, FAISS, Qdrant или Weaviate).
Подобрать и интегрировать модель эмбеддингов для эффективного поиска по учебникам.
Интегрировать локальную LLM в формате .gguf (через llama.cpp / llama-cpp-python или аналогичные инструменты) в существующую архитектуру приложения.
Оптимизировать качество поиска и ответов модели, снизить количество галлюцинаций.
Настроить процесс обновления базы знаний без необходимости повторного обучения модели.
Провести тестирование производительности и качества работы офлайн-модели.
Подготовить документацию по развертыванию, настройке и сопровождению решения.

Требования:

Требования — Hard skills

• Практический опыт с LLM и локальным инференсом.

• Глубокое понимание RAG (ретривер, генератор, контекстные окна, подбор

негативов, переранжирование).

• Опыт работы с векторными БД: ChromaDB, FAISS, Qdrant, Weaviate (одна или

несколько).

• Опыт с quantized‑моделями и стеком ggml / llama.cpp; понимание формата .gguf.

• NLP‑базис: чанкинг, токенизация, эмбеддинги (например, sentence‑transformers).

• Уверенный Python и экосистема (poetry/venv, pytest, logging, CLI).

• Опыт/понимание fine‑tuning (желательно LoRA/QLoRA).•

Базовые навыки Linux и работы с CLI, GPU/CPU настройка.
Требования — Подход и Soft skills

• Исследовательский подход: постановка гипотез, A/B‑тесты, строгая оценка качества

ретривера и генератора.

• Итеративность: идти маленькими шагами с измеримыми улучшениями, а не

«большой перезапуск обучения».

• Фокус на данных: качество корпуса и поиска — первично, размер модели —

вторичен.

• Целеполагание: «Зачем мы это делаем?» — перед каждым этапом дообучения

Условия:

Формат работы: в офисе / гибридно (по договорённости).

• График: гибкий, ориентирован на результат.

• Компенсация: конкурентная, обсуждается с успешными кандидатами.

• Процесс: скрининг → техническое интервью → тестовое → финальное интервью →

оффер

Посмотреть контакты работодателя