Инженер данных

Команда разрабатывает сложные программно-аппаратные системы и ML/CV-решения. Ищем Инженера данных, который будет отвечать за построение и автоматизацию пайплайнов подготовки больших объемов фото- и видеоданных для последующей разметки и обучения ML-моделей.

Обязанности:

• разрабатывать на Python пайплайны для сбора, обработки и подготовки данных;
• автоматизировать поиск, фильтрацию и передачу больших файлов с удаленных серверов;
• извлекать и обрабатывать фото- и видеоданные из ROS bag;
• автоматизировать отбор и подготовку данных для разметки;
• организовывать загрузку данных и метаинформации в S3-совместимое объектное хранилище;
• интегрировать пайплайны с CVAT и другими инструментами разметки через API;
• вести каталог обработанных данных и метаданных;
• оптимизировать обработку больших объемов данных, в том числе не помещающихся в оперативную память.
  

• уверенное владение Python;
• опыт разработки ETL/data pipelines;
• опыт работы с большими файлами и объемами данных;
• понимание асинхронного и многопоточного программирования;
• опыт работы в Linux-среде.
  
  Будет плюсом:
  
• опыт с ROS 1/2 и rosbag: топики, сообщения, извлечение и синхронизация данных с камер и других сенсоров;
• опыт работы с S3-совместимыми хранилищами и boto3;
  OpenCV и/или ffmpeg;
• опыт обработки изображений и видео;
• понимание подходов к хранению и организации метаданных: JSON/JSONL, Parquet и др.;
• опыт интеграции с CVAT, Label Studio, Supervisely или другими платформами разметки;
• опыт работы с данными для Computer Vision/ML.

• оформление в соответствии с ТК РФ;
• конкурентный уровень заработной платы - на уровне лидеров ИТ/телеком-индустрии;
• комфортный современный офис.