Москва, Барклая, 6с3
Метро: БагратионовскаяМы создаём светомузыкальные шоу фонтанов и развиваем собственное программное обеспечение для подготовки световых видео эффектов и работы с оборудованием управления светом по протоколу DMX512.
Ищем специалиста, который разработает ИИ-систему для анализа музыки и генерации световой динамики на основе примеров работы художника по свету.
Сейчас художник прослушивает музыкальную дорожку расставляет на ней акценты, создаёт световые (видео) эффекты и собирает световую музыкальную композицию.
Мы хотим автоматизировать значительную часть этого процесса, сохранив художественную выразительность и возможность ручной доработки.
Система должна обучаться на постановочных решениях человека: какие события в музыке он выделяет, как распределяет акценты между объектами сцены, выбирает эффекты и выстраивает развитие музыкальной и световой композиции.
Вам предстоит работать над двумя направлениями.
1. Интеллектуальная разметка музыкальной дорожки.
Разработать систему, которая находит значимые музыкальные события и предлагает маркеры для световой постановки: удары, ритмические акценты, переходы, паузы, начала частей и кульминации. Научить ИИ учитывать выбор и предпочтения художника на основе авторской разметки.
2. Генерация световых последовательностей по видеопрограмме и текстовому заданию.
Разработать модель или комбинацию моделей, создающую световую динамику для выбранного музыкального фрагмента с учётом промпта, конфигурации сцены и примеров готовых шоу.
Особенность задачи — работа со смысловой структурой сцены. Ячейки матрицы соответствуют реальным приборам и группам объектов: центральной композиции, фоновым струям, боковым элементам и другим зонам. Они различаются по назначению, геометрии, визуальной яркости и важности. Генерация должна учитывать эти различия и поддерживать художественную иерархию.
В рамках работы вам предстоит:
- Изучить текущий процесс создания шоу и предложить архитектуру ИИ решения.
- Провести аудит доступных примеров и определить требования к обучающему датасету.
- Организовать подготовку и синхронизацию музыки, маркеров, световых последовательностей и описаний сцены.
- Сравнить готовые модели, дообучение и разработку собственных компонентов; обосновать выбранный подход экспериментами.
- Создать прототип анализа музыки и генерации световых последовательностей.
- Обеспечить редактируемый результат: маркеры, группы, эффекты, параметры, временные кривые и переходы.
- Разработать интерфейс взаимодействия модели с нашим ПО через API или другой согласованный механизм.
- Организовать оценку качества совместно с художником по свету.
- Обеспечить воспроизводимость обучения, сохранение моделей и документирование решения.
Мы ожидаем:
- Практический опыт обучения или дообучения ML-моделей на собственных данных.
- Уверенное владение Python и PyTorch либо сопоставимым ML-стеком.
- Опыт работы с аудиоданными и временными последовательностями.
- Понимание методов условной генерации и объединения разных типов данных: видео, аудио, текста и структурированного описания объектов.
- Опыт подготовки датасетов, постановки экспериментов и проверки качества на данных, не участвовавших в обучении.
- Умение доводить исследовательский прототип до компонента, пригодного для интеграции в продукт.
- Способность обсуждать художественные критерии с постановщиком и переводить их в требования к данным и алгоритмам.
- Примеры выполненных проектов с объяснением вашей роли и полученных результатов.
Преимуществом будут:
- Опыт в Music Information Retrieval: анализ ритма, атак звука, музыкальной структуры и инструментальных партий.
- Проекты в области генерации анимации, движения, визуальных эффектов или сценического света.
- Знакомство с обучением на демонстрациях и предпочтениях пользователей.
- Опыт разработки инструментов для творческих специалистов.
Предметную область фонтанных шоу можно освоить в процессе работы. Основной приоритет — сильные компетенции в прикладном машинном обучении и подтверждённый опыт решения нестандартных задач.
Первый этап проекта — аудит данных и рабочий прототип на ограниченном наборе музыкальных примеров и одной описанной конфигурации сцены.
Результат этого этапа должен показать, насколько система точно предлагает значимые акценты, соблюдает роли групп и сокращает объём ручной работы при приемлемом художественном качестве. По итогам определим требования к дальнейшим данным и план развития.
В отклике просим кратко описать релевантные проекты, вашу роль в них, опыт работы с аудио и генеративными моделями. Приложите ссылки на портфолио, демонстрации, публикации или репозитории, если они доступны.
Условия:
О компании Группа компаний «Боронд» — лидер в проектировании, строительстве и реконструкции фонтанов в России. Более 35 лет мы создаём уникальные объекты, отмеченные престижными наградами и признанием профессионального сообщества. Присоединяйся к нам и стань частью команды, которая формирует будущее инженерии!
KAMAZ Диджитал – компания-создатель цифровых решений для управления производством и транспортом
Москва
Не указана
Финфрейм
Москва
до 300000 RUR
НПО ИНТЕЛЛЕКТУАЛЬНЫЕ ТЕХНИЧЕСКИЕ СИСТЕМЫ
Москва
до 300000 RUR
Москва
до 300000 RUR