Data Engineer (Платформа данных)
Data Engineer (Платформа данных)
Москва
Описание вакансии
Платформа данных - миграция хранилища данных аналитической отчетности на единую Data-платформу компании.
Вам предстоит:
Посмотреть контакты работодателя
Вам предстоит:
- Разрабатывать пайплайн поставки данных в Data Lakehouse;
- разрабатывать механизм для потоковой проверки качества данных (DQ);
- разрабатывать механизм для автоматической сборки витрин (dbt);
- внедрять Apache Kylin для последующего переноса кубов;
- внедрять Apache Flink и Apache Paimon для приземления данных и NRT-отчётов;
- проектировать, прототипировать и проверять гипотезы для внедрения новых компонентов и улучшения существующих решений.
- Уверенно владеете Java или Python (со стремлением изучить Java);
- свободно владеете SQL;
- имеете опыт работы со Spark;
- имеете опыт работы с Apache Iceberg;
- имеете опыт работы с Docker и docker-compose;
- понимаете особенности форматов данных Avro, ORC, Parquet.
Адрес
Похожие вакансии
Москва
до 300000 RUR
