ML-инженер / AI Research Engineer (анализ музыки и генерация видео)

Боронд, Группа компаний

ML-инженер / AI Research Engineer (анализ музыки и генерация видео)

Москва, Барклая, 6с3

Метро: Багратионовская

Описание вакансии

Мы создаём светомузыкальные шоу фонтанов и развиваем собственное программное обеспечение для подготовки световых видео эффектов и работы с оборудованием управления светом по протоколу DMX512.

Ищем специалиста, который разработает ИИ-систему для анализа музыки и генерации световой динамики на основе примеров работы художника по свету.

Сейчас художник прослушивает музыкальную дорожку расставляет на ней акценты, создаёт световые (видео) эффекты и собирает световую музыкальную композицию.
Мы хотим автоматизировать значительную часть этого процесса, сохранив художественную выразительность и возможность ручной доработки.

Система должна обучаться на постановочных решениях человека: какие события в музыке он выделяет, как распределяет акценты между объектами сцены, выбирает эффекты и выстраивает развитие музыкальной и световой композиции.

Вам предстоит работать над двумя направлениями.
1. Интеллектуальная разметка музыкальной дорожки.
Разработать систему, которая находит значимые музыкальные события и предлагает маркеры для световой постановки: удары, ритмические акценты, переходы, паузы, начала частей и кульминации. Научить ИИ учитывать выбор и предпочтения художника на основе авторской разметки.
2. Генерация световых последовательностей по видеопрограмме и текстовому заданию.
Разработать модель или комбинацию моделей, создающую световую динамику для выбранного музыкального фрагмента с учётом промпта, конфигурации сцены и примеров готовых шоу.
Особенность задачи — работа со смысловой структурой сцены. Ячейки матрицы соответствуют реальным приборам и группам объектов: центральной композиции, фоновым струям, боковым элементам и другим зонам. Они различаются по назначению, геометрии, визуальной яркости и важности. Генерация должна учитывать эти различия и поддерживать художественную иерархию.

В рамках работы вам предстоит:
- Изучить текущий процесс создания шоу и предложить архитектуру ИИ решения.
- Провести аудит доступных примеров и определить требования к обучающему датасету.
- Организовать подготовку и синхронизацию музыки, маркеров, световых последовательностей и описаний сцены.
- Сравнить готовые модели, дообучение и разработку собственных компонентов; обосновать выбранный подход экспериментами.
- Создать прототип анализа музыки и генерации световых последовательностей.
- Обеспечить редактируемый результат: маркеры, группы, эффекты, параметры, временные кривые и переходы.
- Разработать интерфейс взаимодействия модели с нашим ПО через API или другой согласованный механизм.
- Организовать оценку качества совместно с художником по свету.
- Обеспечить воспроизводимость обучения, сохранение моделей и документирование решения.

Мы ожидаем:
- Практический опыт обучения или дообучения ML-моделей на собственных данных.
- Уверенное владение Python и PyTorch либо сопоставимым ML-стеком.
- Опыт работы с аудиоданными и временными последовательностями.
- Понимание методов условной генерации и объединения разных типов данных: видео, аудио, текста и структурированного описания объектов.
- Опыт подготовки датасетов, постановки экспериментов и проверки качества на данных, не участвовавших в обучении.
- Умение доводить исследовательский прототип до компонента, пригодного для интеграции в продукт.
- Способность обсуждать художественные критерии с постановщиком и переводить их в требования к данным и алгоритмам.
- Примеры выполненных проектов с объяснением вашей роли и полученных результатов.
Преимуществом будут:
- Опыт в Music Information Retrieval: анализ ритма, атак звука, музыкальной структуры и инструментальных партий.
- Проекты в области генерации анимации, движения, визуальных эффектов или сценического света.
- Знакомство с обучением на демонстрациях и предпочтениях пользователей.
- Опыт разработки инструментов для творческих специалистов.
Предметную область фонтанных шоу можно освоить в процессе работы. Основной приоритет — сильные компетенции в прикладном машинном обучении и подтверждённый опыт решения нестандартных задач.

Первый этап проекта — аудит данных и рабочий прототип на ограниченном наборе музыкальных примеров и одной описанной конфигурации сцены.

Результат этого этапа должен показать, насколько система точно предлагает значимые акценты, соблюдает роли групп и сокращает объём ручной работы при приемлемом художественном качестве. По итогам определим требования к дальнейшим данным и план развития.


В отклике просим кратко описать релевантные проекты, вашу роль в них, опыт работы с аудио и генеративными моделями. Приложите ссылки на портфолио, демонстрации, публикации или репозитории, если они доступны.

Условия:

  • Официальное трудоустройство, стабильная "белая" зарплата.
  • Уровень заработной платы обсуждается по результатам собеседования.
  • График 5/2 (выходные - суббота, воскресенье).
  • Работа в офисе компании, далее имеется возможность работать в гибридном формате.
  • Участие в уникальных проектах федерального уровня.
  • Профессиональное развитие и обучение за счёт компании.
  • Дружная команда экспертов, поддержка наставников.

О компании Группа компаний «Боронд» — лидер в проектировании, строительстве и реконструкции фонтанов в России. Более 35 лет мы создаём уникальные объекты, отмеченные престижными наградами и признанием профессионального сообщества. Присоединяйся к нам и стань частью команды, которая формирует будущее инженерии!

Посмотреть контакты работодателя

Адрес

Похожие вакансии

Платформа Третье Мнение

Deep Learning Engineer

Платформа Третье Мнение

  • Москва

  • Не указана

Рекомендуем
А7-ТЕХНОЛОГИИ
  • Москва

  • Не указана

Рекомендуем
А7-ТЕХНОЛОГИИ
  • Москва

  • Не указана

Оператор Газпром ИД

Senior Machine Learning Engineer / RecSys

Оператор Газпром ИД

  • Москва

  • Не указана

KAMAZ Диджитал – компания-создатель цифровых решений для управления производством и транспортом

CV/ML-инженер (Middle+)

KAMAZ Диджитал – компания-создатель цифровых решений для управления производством и транспортом

  • Москва

  • Не указана

Цезарь Сателлит

AI Developer

Цезарь Сателлит

  • Москва

  • до 300000 RUR

Детский мир

Middle ML Engineer

Детский мир

  • Москва

  • до 300000 RUR

НПО ИНТЕЛЛЕКТУАЛЬНЫЕ ТЕХНИЧЕСКИЕ СИСТЕМЫ

Senior Computer Vision Engineer (ML Lead)

НПО ИНТЕЛЛЕКТУАЛЬНЫЕ ТЕХНИЧЕСКИЕ СИСТЕМЫ

  • Москва

  • до 300000 RUR

Московский метрополитен

Программист-исследователь

Московский метрополитен

  • Москва

  • до 300000 RUR

МТС
  • Москва

  • от 350000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию