AI Engineer (Senior) - Speech & Voice AI

Обязанности:

• Подбирать, обучать и дообучать модели распознавания и синтеза речи (ASR/TTS), а также speech-to-speech модели для голосовых AI-сервисов банка.

• Развивать качество работы моделей на казахском и русском языках: учитывать смешанную речь, банковскую терминологию, имена, суммы и шумные условия.

• Проектировать голосовые диалоги в реальном времени: потоковую обработку аудио, определение конца реплики, обработку перебиваний и full-duplex взаимодействие, при котором агент одновременно слушает пользователя и отвечает ему.

• Готовить речевые датасеты: очищать и размечать аудио, формировать обучающие и тестовые выборки, проводить эксперименты и анализировать ошибки моделей.

• Интегрировать речевые модели с голосовыми агентами на LiveKit Agents или аналогичной платформе, backend-сервисами и мобильными каналами банка.

• Оптимизировать качество и скорость ответа, потребление GPU и устойчивость сервиса при одновременных голосовых сессиях.

• Готовить модели и голосовые сервисы к промышленной эксплуатации в защищённом контуре банка.

Требования:

• Уверенное владение Python и PyTorch.

• Практический опыт обучения или fine-tuning речевых моделей, а не только интеграции готовых облачных ASR/TTS API.

• Обязательный опыт работы с LiveKit Agents / LiveKit Server либо аналогами для потоковых голосовых приложений.

• Понимание архитектур ASR, TTS и speech-to-speech, методов подготовки аудиоданных и оценки качества речевых моделей.

• Опыт работы со streaming inference, VAD, turn detection, endpointing и обработкой перебиваний (barge-in).

• Понимание особенностей full-duplex диалога, включая одновременную речь пользователя и агента.

• Опыт вывода ML-моделей в production: разработка API, Docker, мониторинг, профилирование и оптимизация инференса на GPU.

• Умение строить воспроизводимые эксперименты и находить баланс между качеством модели, задержкой ответа и стоимостью вычислений.

Будет преимуществом:​​​​​​​

• Опыт обучения речевых моделей для казахского языка и работы с переключением между казахским и русским языками в одной реплике.

• Практический опыт с full-duplex speech-to-speech моделями.

• Опыт развёртывания речевых моделей on-premise и работы с чувствительными данными в регулируемой среде.

​​​