Data Engineer

Обязанности:

• Разработка и поддержка пайплайнов данных (Airflow, Spark, Kafka).
• Работа с Data Vault 2.0 (моделирование, интеграция, оптимизация).
• Интеграция данных из различных источников (Debezium, API, NoSQL).
• Оптимизация хранения (S3 RAW/ODS → GreenPlum DDS/Gold → ClickHouse Platinum).
• Участие в архитектуре и развитии Data Lake House.

Требования:

• Опыт работы с GreenPlum или аналогичными MPP СУБД.
• Умение работать с Airflow, Spark, Kafka.
• Знание архитектуры Data Lake и Data Vault.
• Опыт работы с S3/объектным хранилищем.
• SQL на продвинутом уровне.
• Знание Python (PySpark, Pandas).