Data Engineer
Data Engineer
Алматы, проспект Абая, 109В
Метро: АлатауОписание вакансии
Обязанности:
- Участвовать в разработке отчетной системы
- Разрабатывать и поддерживать batch ETL-процессы (Python, SQL, Airflow)
- Разрабатывать и поддерживать обработку потоков данных (Python, RabbitMQ)
- Дорабатывать и развивать хранилище данных, строить витрины данных
- Интегрировать новые источники данных в DWH
- Реализовывать проверки качества данных DQ
- Внедрять новые инструменты по работе с данными в компании
- В ходе работы выстраивать процессы коммуникации с заказчиками
-
Хорошое знание SQL - оконные функции, сложные join'ы и подзапросы, опыт оптимизации больших SQL запросов.
- Понимание принципов работы реляционных и колоночных СУБД, опыт проектирования DWH моделирование данных, разбиение по слоям
- Хорошее знание Python (навыки работы с Pandas будут плюсом), опыт построения data pipeline’ов при помощи Airflow
- Владение инструментами - Git, Docker, навыки работы с NoSQL СУБД.
- Знание технологий DBT, Debezium, Greenplum, Spark, Data Lake, k8s, PowerBI, Apache NiFi
- офисная работа,
- график работы 5/2 09:00 – 18:00
- развитие и карьерный рост
- годовая премия
- бонусы по итогам года
- повышение квалификации за счет Компании
Навыки
- SQL
- DBT
- Debezium
- Greenplum
- Spark
- Data Lake
- PowerBI
- Apache NiFi
- Docker
- Python
- СУБД
- Airflow
- ETL-процессы
- DQ
- RabbitMQ
- DWH
- Git
- NoSQL СУБД
- Разработка ПО
- Постановка задач разработчикам
- Анализ требований
Адрес
Похожие вакансии
Data Engineer (Insurance / Finance)
Компания по страхованию жизни BCC Life
Полный день
Алматы
Не указана
Старший менеджер Управления цифрового взыскания (Data аналитик)
Народный банк Казахстана
Полный день
Алматы
от 500000 KZT
DevOps - инженер
«Научно-Исследовательская Лаборатория «Гамма Технологии»
Полный день
Алматы
до 2000000 KZT
Data Scientist anti-fraud
Публичная Компания «Freedom Finance Global PLC»
Полный день
Алматы
до 2000000 KZT
