RL‑инженер по робототехнике (VLA‑агенты, Isaac Sim)

На данный момент мы ищем ML-программиста, который будет работать с продуктом «ВкусВилл».

Обязанности:

• Разработка и обучение мультимодальных RL-агентов для манипуляции: Создание алгоритмов, которые интегрируют визуальное восприятие (RGB-D), языковые инструкции и проприоцептивные данные (усилие, момент) для управления манипулятором.

Фокус на:

• VLA-планирование: Генерация последовательности действий (траектория, хват, сила) на основе текстового/голосового запроса и визуального контекста;
• Адаптивное управление: Использование обратной связи от тактильных и силомоментных датчиков для коррекции действий в реальном времени (упреждение проскальзывания, работа с деформируемыми объектами);
• Интеграция Foundation Models в контур управления: Адаптация, fine-tuning и эффективное развертывание предобученных моделей (VLMs) и языковых моделей (LLMs) для задач семантического восприятия, планировании и генерации целей (reward) для RL-агента;
• Перенос из симуляции в реальность (Sim2Real) для VLA: Разработка и внедрение методов (рандомизация домена, адаптивные политики) для преодоления разрыва между симуляцией и реальным миром, особенно для мультимодальных представлений;
• Полный цикл — от идеи до "железа": участие во всем процессе: прототипирование в симуляции, оптимизация для реального времени, развертывание на бортовые компьютеры роботов (Jetson, GPU), тестирование и валидация на физических стендах.

Наш стек технологий:

• Основное: Python 3.x, PyTorch, Transformers (Hugging Face), PyTorch3D;

• RL/Робототехника: NVIDIA Isaac Lab/Gym, SKRL, Stable-Baselines3, ROS 2 (MoveIt 2, ros2_control), CUDA;

• Визуализация и симуляция: NVIDIA Isaac Sim, Blender;

• Инструменты: Docker, Git, Weights & Biases / MLflow, Linux, ONNX, TensorRT;

• Хардвер: Роботы-манипуляторы (KUKA, Franka, UR), адаптивные захваты, RGB-D камеры (Intel RealSense), тактильные и силомоментные датчики.

Требования:

• Имеете от 2+ лет коммерческого или серьезного исследовательского опыта в ML/DL, с портфолио проектов (GitHub, публикации);
• Обязательно имеете практический опыт в одной из областей и знакомство с другими:
• Машинное обучение в робототехнике: разработка и обучение RL/DL моделей для управления роботами (манипуляция, локомоция). Понимание кинематики, динамики;
• Visual Language Action (VLA) / Мультимодальные модели: опыт работы с VLMs (CLIP, BLIP, ViLT) или LLMs для планирования в робототехнике (RT-1, RT-2, OpenVLA);
• Имеете продвинутые навыки в PyTorch и работе с данными;
• Имеете опыт работы с симуляторами роботов (Isaac Sim, MuJoCo, PyBullet) и понимаете проблемы Sim2Real;
• Умеете писать производственный код, а не только исследовательские ноутбуки. Опыт с C++ будет большим плюсом;
• Готовы к тесной междисциплинарной работе (программирование, ML, робототехника "низкого уровня").

Будет огромным плюсом:

• Опыт дообучения Foundation Models (LLM, VLM) под специфические задачи;
• Знакомство с иерархическим RL, обратным RL или имитационным обучением (IL, BC);
• Опыт оптимизации и развертывания нейросетей на edge-устройствах (ONNX, TensorRT, Triton);
• Глубокое понимание компьютерного зрения для роботов: 6D pose estimation, сегментация, 3D реконструкция.

• Работа в аккредитованной IT-компании;
• Удалённая работа: для нас важны результаты работы без привязки к месту;
• Официальное оформление с первого дня работы и поддержка куратора во время адаптации;
• Прозрачная система развития: понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций;
• Экологичная культура и адекватные руководители;
• Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников;
• Бонус 15% с покупок во ВкусВилл;
• Социальная ответственность: поощряем донорство, оказываем материальную помощь при рождении ребёнка;
• Партнерская программа «Зелёный свет»: за рекомендации знакомых специалистов можно получить до 50 000 руб.