Data Engineer
Data Engineer
Описание вакансии
Наша команда DWH выделена под бизнес-направление потребительских кредитов, рассрочек и Долями. Мы занимаемся проектированием витрин и модели данных для отчетности, а также построением регламентных ETL-процессов.
Требования:
- Умение работать с данными (SQL)
- Знание принципов построения DWH и стандартов архитектуры
- Знание архитектуры Greenplum, Hadoop и Clickhouse, умение оптимизировать запросы в этих системах
- Умение работать с ETL инструментами Apache Airflow, Apache NiFi, Apache Flink
- Аналитическое мышление
- Системный подход
Обязанности:
- Проектирование объектов DWH
- Разработка ETL процессов с использование инструментов платформы данных Т-Банка
- Оптимизация уже существующих ETL процессов
- Аудит и оптимизация процессов работы с данными в командах заказчиков
- Работа в программах/приложениях:TEDI, NIFI, Helicopter; Kafka, Hadoop ,Greenplum
Навыки
- Python
- Greenplum
- Apache Kafka
- Apache NiFi
- ETL