Researcher проекта предсказания мультимодальных графов 3D-сцены (Cognitive AI Systems / AIRI)

Мы приглашаем исследователей в области компьютерного зрения присоединиться к работе в лаборатории Cognitive AI Systems в AIRI над проектом, посвященному предсказанию мультимодальных графов 3D-сцены. Граф сцены - это компактная и структурированная модель 3D-пространства, которая может содержать в себе различные модальности (RGB-изображения, облака точек, текстовые описания объектов, отношения между ними). В настоящее время графы сцены активно применяются в робототехнике для планирования действий при решении сложных задач, для создания диалоговых систем оператора с роботами. Однако качество построения графов сцены даже SOTA-методами всё ещё далеко от идеального в условиях шумных данных, движущейся камеры, большом количестве перекрытий, необычных ракурсов и т.п.

В нашей лаборатории мы активно исследуем методы построения и прогнозирования изменений графов 3D-сцены по сенсорным данным и их использования в робототехнических задачах. Мы публикуем результаты наших исследований на топовых конференциях по робототехнике и компьютерному зрению и внедряем их на реальных роботах. Поэтому, если вам интересно решать фундаментальные задачи и видеть их применение в реальных сценариях, то мы вас ждём.

Обязанности:

• проводить исследования в области анализа мультимодальных данных (RGB, depth, облака точек, текст), трансформерных архитектур (в том числе VLM, MLLM), робототехники;
• прототипировать и улучшать AI архитектуры (multimodal data, transformers, GNN) ;
• создавать датасеты и бенчмарки на основе данных с сенсоров роботов;
• публиковаться на топ-конференциях (CVPR, ICCV, NeurIPS, ICRA и др.).

Требования:

• отличное знание Python (в том числе опыт работ с Python ML+DL фреймворками pytorch, numpy, pandas);
• глубокое знание современных архитектур в области методов компьютерного зрения, в том числе мультимодальных, MLLM, 3D CV, графовых нейросетей;
• сильный математический бэкграунд (линейная алгебра, оптимизация, теория вероятности);
• высокая мотивация, умение самостоятельно работать, ставить и проводить воспроизводимые научные эксперименты, проверять гипотезы и анализировать результаты.

Будет плюсом:

• PhD / аспирантура,
• знание ROS;
• опыт написания научных публикаций, в том числе наличие публикаций A*/Q1.

​

• Возможность заниматься передовыми исследованиями;

• Масштабные проекты, участие в международных конференциях;

• Конкурентный уровень компенсации и современный офис в бизнес центре Москва-Сити;

• ДМС с первого дня устройства;

• Гибридный график работы (офис + удаленка).