Senior ML / AI Engineer Lead AI Voice / MLOps Engineer (Streaming Audio / vLLM)

Lead AI Voice / MLOps Engineer (Streaming Audio / vLLM)

Мы — DeepTech стартап. Мы строим собственный in-house конвейер потокового голосового ИИ (ASR ➔ LLM ➔ TTS) сверхнизкой задержки на Nvidia GPU-кластерах.

Мы не делаем очередную «обертку» над OpenAI API или Vapi. Мы создаем свой проприетарный движок. Днем наша система обслуживает реальный сектор SMB (AI-администраторы по SIP-телефонии для малого бизнеса), а ночью интегрируется в качестве бэкенда для умных голосовых NPC в крупнейшие игровые проекты ( пиковый онлайн 14,000+).

Инфраструктуру со стороны DevOps, K8s и автомасштабирования нам помогает выстраивать и валидировать действующий архитектор из Apple. Нам нужен человек, который заберет на себя сердце продукта — ML-пайплайн и задержки.

Главный технический вызов (Твой KPI): Time-to-First-Audio (TTFA) в реальном диалоге с ботом должен составлять строго менее 1000 миллисекунд.

Что нужно будет делать:

• Развернуть и оптимизировать streaming-пайплайн на GPU (A6000/A100/H100).

• Слух (ASR): Настроить потоковый Speech-to-Text (Faster-Whisper / Deepgram on-prem).

• Мозг (LLM): Развернуть Llama 3 (8B) или аналоги через vLLM / TensorRT с минимальным Time-to-First-Token.

• Голос (TTS): Внедрить быстрый потоковый синтез речи (XTTSv2, OpenVoice или аналоги).

• Оркестрация: Написать жесткую логику VAD (Voice Activity Detection). Бот должен моментально замолкать при перебивании, но при этом не должно быть пауз в 2 секунды между репликами.

• Упаковать всё это в production-ready Docker-контейнеры и отдать нам быстрый локальный API.

Наш идеальный кандидат:

• Уверенно пишет на Python (C++ будет жирным плюсом для оптимизаций).

• Понимает, как на низком уровне работает память видеокарт (VRAM, CUDA, TensorRT).

• Имеет реальный опыт работы с vLLM / llama.cpp в продакшене.

• Понимает основы телефонии и стриминга (WebRTC, SIP, Websockets).

• Не боится слова "оптимизация" и умеет считать миллисекунды в логах.

• Самостоятелен: вам не нужен микроменеджмент, вы берете задачу и приносите работающий "черный ящик".

Условия:

• Оплата: в USD или крипте (USDT), если вы находитесь вне РФ, либо обсуждаем удобные варианты.

• Полная удаленка, асинхронный формат работы (команда в часовом поясе Калифорнии / PST, но мы не заставляем сидеть на ночных созвонах).

• Нулевая бюрократия. Никаких Jira-билетов ради билетов — работаем спринтами в Linear на результат.

• Доступ к топовым GPU-мощностям для любых тестов.
  
  В сопроводительном письме указывайте тех стэк, опыт работы.