Инженер по машинному обучению в команду нейросетевой оптимизации

О команде и задаче:
Мы создаем технологию авономного вождения. У нас накоплены петабайты данных с проездов, которые нужно превратить в полезный датасет для обучения.

Твоя задача — не просто сидеть в Jupyter, а построить «фабрику» по автоматической разметке сложных дорожных ситуаций (поиск сценариев) с использованием современных подходов (большие языковые модели, визуальные языковые модели и компьютерное зрение) и масштабировать это решение на весь наш архив данных.

Чем предстоит заниматься:

• Разработка методов авторазметки: создание новых и адаптация существующих моделей (в т.ч. большие языковые и визуальные языковые модели) для семантического поиска событий в проездах (например, «найти все нерегулируемые левые повороты с пешеходами»);
• Пайплайны обработки данных: оборачивание моделей машинного обучения в воспроизводимые пайплайны для массовой обработки исторических и новых данных;
• Работа с данными: организация эффективного чтения/записи результатов в S3, версионирование экспериментов и датасетов через ClearML.

Что мы ждем от кандидата:

• Отличное знание Python, PyTorch, понимание архитектур трансформеров и опыт работы с большими языковыми и визуальными языковыми моделями (CLIP, LLaVA, GPT-4V API или аналоги ПО с открытым исходном кодом). Нам нужно, чтобы модель «понимала» сцену Fine-tuning;
• База по компьютерному зрению (детектирование, сегментация, трекинг объектов);
• Инженерия машинного обучения (практики развёртывания ML‑моделей)/MLOps & Engineering (опыт работы с объектными хранилищами (S3), умение писать эффективный код, при котором не падает сеть и сторадж при массовом чтении, работа с большим объёмом данных, умение строить ETL/ELT пайплайны и работать с SQL, Docker).

Будет плюсом:

• Опыт в области автономного вождения: понимание сенсорики (лидар, радар и камера) и специфики данных (rosbag, pcap и т.д.);
• Инженерия данных/Data Engineering: опыт работы с Spark для препроцессинга данных, ClickHouse/Metabase для записи и поиска данных, с оркестраторами - Dagster.