Data Engineer

Привет, на связи компания Centras! Мы находимся в поиске талантливого Data Engineer, который присоединится к новому отделу DataHub!
Вместе с командой вы будете создавать централизованную платформу для сбора, интеграции и подготовки данных холдинга, обеспечивая ими бизнес-продукты, аналитику и принятие решений на основе данных.

Обязанности

• Разрабатывать и поддерживать ETL/ELT-пайплайны для централизованного сбора данных из различных источников холдинга.
• Интегрировать данные из БД, API, файлов, внешних систем и внутренних сервисов.
• Проектировать и развивать модели данных для аналитических и продуктовых задач.
• Создавать и оптимизировать DWH/Data Lake/Data Mart решения.
• Обеспечивать качество, целостность и актуальность данных.
• Автоматизировать процессы загрузки, трансформации и обработки данных.

Требования

• Опыт работы Data Engineer / ETL Developer / Analytics Engineer от 1 года.
• SQL: запросы, CTE, оконные функции, оптимизация.
• Знание Python для обработки данных и автоматизации.
• Опыт построения и поддержки ETL/ELT-пайплайнов.
• Понимание принципов построения DWH, Data Lake и витрин данных.
• Опыт работы с реляционными БД — PostgreSQL / MySQL / ClickHouse или аналогами.
• Понимание принципов моделирования данных и построения аналитических моделей.
• Опыт работы с Git и понимание основных принципов CI/CD.

Будет преимуществом:

• Опыт работы с Apache Airflow или другими оркестраторами.
• Опыт работы с Yandex Cloud / AWS / GCP.
• Опыт с ClickHouse, Greenplum, BigQuery, Spark.
• Опыт построения Data Lake / Lakehouse.
• Знание Kafka и принципов потоковой обработки данных.
• Опыт работы с dbt.
• Понимание Data Governance, MDM и Data Quality.