Data Engineer
Data Engineer
Астана
Описание вакансии
Обязанности:
- Проектирование и поддержка пайплайнов CDC-репликации данных из PostgreSQL/MySQL/MongoDB в хранилище через Debezium + Kafka
- Разработка и оптимизация хранилища на ClickHouse: схемы, движки таблиц, материализованные представления, шардирование и репликация
- Оркестрация data-пайплайнов в Apache Airflow: написание DAG'ов, кастомных операторов, мониторинг и алертинг
- Построение трансформационного слоя на dbt: модели, тесты, документация, инкрементальные стратегии
- Оптимизация производительности запросов и стоимости хранения
- Поддержка качества данных: тесты, контракты, observability Code review, менторинг junior-инженеров, развитие инженерной культуры в команде
- интересный проект
- хорошие условия труда
Навыки
- PostgreSQL
- Debezium
- Kafka
- Apache Airflow
- dbt
