Data Engineer (Image & Video)

Продукт на данный момент помогает крупным компаниям решать различные задачи: пропуск сотрудников в производственные помещения, обнаружения пожаров, расследование инцидентов и др. На рынке уже порядка 15 лет и имеет амбициозные перспективы для дальнейшего развития. География продукта покрывает множество стран СНГ, Азии и другие.

Технологии: продукт включает в себя множество сервисов, реализованных на Java, Go, C++, и разворачивающихся в виде контейнеров в Kubernetes.

Команда проекта: 65+ человек: Back-end (Java), Front-End (Angular), Manual QA + AQA(Python), R&D (аналитика на C++, DL Engineer), Admin (k9s cluster).

Обязанности:

• Сбор изображений и видео из открытых источников (web, python API, публичные датасеты, production кластеры);

• Разработка и поддержка Python-скриптов и пайплайнов сбора данных;

• Очистка и подготовка данных: изображения, видео, метаданные;

• Контроль качества данных: проверка blur / резкости, контроль размеров, разрешений и форматов, выявление пустых, битых и дублирующихся кадров;

• Базовая аналитика датасетов: подсчёт объёмов и распределений, проверка полноты и однородности данных, простые метрики качества;

• Подготовка данных в формате, готовом к использованию ML-командой.

Требования:

Языки и инструменты:

• Python — уверенный уровень;

• Инструменты веб-сбора: Requests, BeautifulSoup, Selenium, Scrapy;

• Опыт сбора и парсинга данных от 2 лет.

Общие требования по сбору:

• Бытовая сообразительность, необходимая для нахождения путей решения нестандартных задач сбора;

• Коммуникабельность, готовность находить людей, необходимых для решения конкретных задач сбора и общаться с ними до получения нужных данных;

• Английский язык на уровне письменной коммуникации с сотрудниками из других регионов для организации удаленного сбора: B1 или выше.

Работа с изображениями и видео:

• Понимание форматов: JPEG / PNG; MP4 / AVI;

• Опыт работы с: OpenCV, ffmpeg, PIL;

• Умение: извлекать кадры из видео, масштабировать и кропать изображения, применять базовые фильтры, автоматизировать проверки качества данных.

Аналитическая база (базовый уровень):

• Понимание принципов качества данных (data quality);

• Работа с метаданными и простыми агрегатами;

• Умение оценивать датасет и находить проблемы до передачи в ML.

Инфраструктура:

• Python;

• Linux;

• Docker.

Будет плюсом:

• Понимание Computer Vision / ML на концептуальном уровне;

• Знание принципов: object detection, OCR, video analytics;

• Опыт работы с: YOLO, Qwen VL;

• Базовое понимание ML-pipeline;

• Опыт работы с чувствительными данными и понимание юридических ограничений;

• Опыт использования OpenRouter;

• Опыт работы с Яндекс Толока и Amazon Turk.