C++-разработчик (inference / llama.cpp)

BoilerLab — международная компания с прибыльным и устойчивым бизнесом. Мы активно расширяем линейку продуктов и развиваем общую экосистему сразу по трём направлениям: AI & ML, SaaS и блокчейн.

Один из продуктов — Atomic Chat: опенсурсное локальное AI-приложение и движок инференса. Запускает open-weight модели прямо на устройстве пользователя, без облака. Под капотом — llama.cpp и MLX, OpenAI-совместимый сервер на localhost.

В этот проект мы ищем C++ разработчика.

Чем предстоит заниматься:

— Развивать наш форк llama.cpp и держать его в синхроне с upstream.
— Оперативно добавлять поддержку новых моделей и архитектур сразу после их выхода.
— Квантизация и компрессия KV-кэша, ускорение инференса.
— Low-level оптимизация: память, латентность, скорость.
— Поддержка разных бэкендов и железа.
— GPU-программирование и профилирование производительности. — Поддержка и развитие OpenAI-совместимого сервера инференса. — Следить за развитием движков инференса и быстро переносить лучшее к нам.

Что мы ожидаем:

— Уверенный C/C++, опыт работы в больших кодовых базах.
— Опыт с llama.cpp или другим движком инференса.
— Опыт GPU-программирования (CUDA, Metal).
— Понимание квантизации.
— Опыт кросс-платформенной сборки на CMake.
— Умение профилировать и оптимизировать производительность.

Будет плюсом:

— Контрибьюты в llama.cpp / ggml.
— Опыт с MLX.
— Знание Rust.

Мы предлагаем:

— Работу в международной растущей компании.
— Выплаты в рублях, валюте или USDT.
— Индивидуальную программу роста.
— Оплату курсов, семинаров и профильной литературы.
— 28 календарных дней оплачиваемого отпуска, больничные — 100%.
— Гибкое начало рабочего дня с 10 до 12
— Работу из офиса в Санкт-Петербурге.
— Открытый код и влияние на продукт.
— Маленькую команду и минимум бюрократии.