Data Engineer

Мы в поиске Data Engineer в международную компанию к нашим партнерам.

Наш стек: Data LakeHouse архитектура, Kafka, Spark, Airflow, ClickHouse, S3, SuperSet, OpenMetadata Таск-трекеры: Jira
Документация: Confluence

Чем предстоит заниматься:
- Разрабатывать и поддерживать ETL/ELT пайплайны в Data Lakehouse архитектуре с Iceberg
- Разрабатывать витрины в ClickHouse
- Разрабатывать потоки данных из различных источников через Kafka и обработкой в Spark
- Настраивать и внедрять DataQuality проверки
- Работать с CDC и Debezium

Ожидания:
- Опыт работы с Data Lakehouse архитектурой (предпочтительно с Iceberg)
- Глубокое понимание и опыт работы с Apache Spark от 2 лет
- Опыт работы с Kafka
- Глубокое знание Python и SQL, опыт оптимизации запросов
- Опыт работы с инструментами оркестрации (Airflow)
- Понимание Data Quality и Data Governance процессов
- 5+ лет опыта работы на позиции Data Engineer

Будет плюсом:
- Опыт работы с BI инструментами (Power BI, Qlik, Metabase, Superset)
- Опыт работы с MongoD
- Понимание DevOps: Docker, Kubernetes
- Знание инструментов CDC (Debezium, Kafka Connect)

Условия:
- Компенсация изучения английского языка до 50%
- 4 day-off в год за счет компании
- Компания поддерживает сотрудника в важные периоды жизни
- Возможность развивать свои компетенции и применять знания на практике
- Большая высококвалифицированная команда, к которой всегда можно обратиться за помощью

Если чувствуете, что описание про Вас, смело жмите на "откликнуться" :)