Inference — инженер

Описание вакансии

Ищем Inference-инженера в Точка Банк. Мы — финтех-компания, создаём онлайн-банк и экосистему сервисов для бизнеса. В нашей команде больше 6 000 сотрудников, а сервисами пользуются более 800 000 клиентов.

О команде

Ты будешь работать в команде разработки внутренней LLM-платформы. Наш фокус — техническая инфраструктура и базовые инструменты. Мы развиваем LLM-гейтвей, инференс внутренней LLM, систему Information Retrieval и guardrails. Именно на этих компонентах строится работа с нейросетями.

Фактически мы создаём технологическую основу для LLM-автоматизации в банке. Наша задача — сделать так, чтобы всё работало стабильно и качественно. Поэтому задачи будут техническими, с минимальным взаимодействием с продуктом.

Мы плотно работаем с инференс-движками: не просто запускаем, а конфигурируем под highload и патчим исходный код при необходимости.

Что делать:

Разрабатывать высокопроизводительный inference-слой. Оборачивать ML-модели в оптимальные сервисы: настраивать токенизацию, динамический батчинг, работу с GIL и асинхронностью, оптимизировать использование GPU- и CPU-ресурсов.
Работать с деплоем. Настраивать CI/CD, работать с Kubernetes. А также разрабатывать решения для деплоя сервисов, который работают с ML-моделями, включая LLM.
Поддерживать стабильность сервисов. Работать с техническим долгом, проводить code review, настраивать детальный мониторинг и алертинг, вести архитектурную документацию.
Драйвить R&D. Индустрия LLM постоянно меняется, поэтому нужно исследовать новые методы оптимизации и инструменты, чтобы платформа всегда использовала лучшие практики.

Ты подойдёшь, если :

Есть опыт работы с Python и asyncio, а также с aiohttp и FastAPI от 4 лет.
Любишь работать на низком уровне: тебе интересно разбираться, как инструменты работают под капотом, а также оптимизировать их производительность.
Спокойно относишься к тому, что в поиске лучшего решения код может часто меняться или «выбрасываться».
Комфортно работаешь в условиях неопределённости и быстрых экспериментов.
Умеешь брать ответственность за результат и коммуникацию.
Самостоятельно организуешь свою работу и определяешь вектор, исходя из прозрачных целей команды.
Есть опыт работы с ML-инфраструктурой и ML-сервисами. Понимаешь базовые принципы работы LLM, их ограничения и возможности.

Будет преимуществом:
Опыт работы с vLLM или SGLang в роли инженера, а не только пользователя. Например, понимаешь принципы работы KV-cache и разницу между prefill phase и decoding phase.
Опыт GPU-оптимизации. Например, написание GPU Kernels на CUDA или Tritonlang/Tilelang.

Что ждёт тебя в Точка Банк:

Официальная зарплата до 700 000 ₽. Точная сумма зависит от твоих навыков и ожиданий — обсудим их на собеседовании. Это сумма до вычета налогов. Помни, что с 2025 года ставка НДФЛ меняется в зависимости от суммарного дохода за год.
Пятидневная рабочая неделя с гибким началом и окончанием дня.
Удалёнка или любой офис в городах присутствия. Наши офисы — это продуманные опенспейсы с комфортными рабочими местами и зонами отдыха. Ты можешь самостоятельно выбрать, где работать — ходить в офис необязательно.
Понятная система развития и роста по грейдам.
Возможность влиять и менять. Если у тебя есть предложение или идея, смело делись ей с командой — тебя услышат.
Бесплатное обучение: ты сможешь ездить на IT-конференции, митапы и хакатоны и проходить курсы за счёт компании. А ещё пользоваться нашей библиотекой и платформой с онлайн-курсами.
Комфорт не только в работе, но и в жизни. После испытательного срока: ДМС со стоматологией, психолог, чекапы здоровья и 4 дополнительных дэй-оффа в год.
Бонусы от партнёров: Skillbox, Skyeng, Яндекс Практикум, Ясно и других.
Онлайн-кабинет сотрудника, где ты можешь заказать справку, поставить отпуск или отгул, заказать технику или посмотреть выплаты.
Активная корпоративная жизнь: устраиваем кинопоказы, спортивные марафоны и корпоративы, которые потом ещё долго вспоминают.