Middle Data Engineer

Команда отдела видеонаблюдения в поиске Data Engineer для развития системы видеоаналитики. Система видеоаналитики охватывает все партнерские пункты выдачи заказов (более 20 тыс.) и от нее зависит работа как нашего так и смежных отделов в Wildberries.

Формат: 3 дня в офисе в Москве

Наш стек:

• Python
• PostgreSQL, ClickHouse
• Airflow
• Kafka
• Gitlab CI/CD, Kubernetes
• Prometheus, Grafana, S3
• FastAPI

Обязанности:

- Анализ исходных систем, и методов интеграции с ними. Участие в разработке проектных решений на интеграцию;

- Разработка и оптимизация процессов интеграции данных из различных источников с использованием SQL и Python. Разработка хранилищ данных, витрин данных;

- Идентификация и устранение проблем качества данных, включая проблемы с интеграцией, дублированием, неполнотой и неточностью данных;

- Обеспечение контроля доступности данных. Постоянное улучшение процессов работы с данными для повышения эффективности и скорости обработки данных;

- Ad-hoc задачи по подготовке данных/отчетов, их автоматизация;

- Проведение code review.

Навыки:

- Уверенное владение Python (pandas), опыт работы с FastAPI (или другим web фреймворком);

- Опыт работы с Airflow;

- Навыки работы с SQL (джоины, оконные функции);

- Знание базовых алгоритмов и структур хранения данных;

- Понимание концепций ООП.

Условия:

- Сложные и интересные проекты;

- Оформление по ТК РФ в IT компанию с первого дня, также предоставляем другие виды оформления - ИП, ГПХ;

- Современный стек, минимум бюрократии;

- Бонусы компании: ДМС, партнерские программы по обучению и фитнесу, корпоративное питание для сотрудников в офисе.