Data Engineer
Data Engineer
Астана
Описание вакансии
Обязанности:
- Разрабатывать и поддерживать процессы загрузки и обработки данных (ETL/ELT)
- Интегрировать данные из различных источников (БД, API, файловые хранилища, стриминговые системы)
- Проектировать и оптимизировать хранилища данных (Data Warehouse, Data Lake)
- Настраивать потоковую и пакетную обработку данных (Kafka, Spark и др.)
- Следить за качеством, надёжностью и доступностью данных
- Работать совместно с аналитиками и Data Scientists, обеспечивая их необходимыми данными
- Документировать процессы и поддерживать существующую инфраструктуру данных
- Опыт работы Data Engineer от 2 лет
- Отличные знания SQL и опыт оптимизации запросов
- Практический опыт работы с реляционными СУБД (PostgreSQL, MS SQL, MySQL и др.)
- Опыт работы с системами потоковой обработки данных (Kafka, Spark Streaming, Flink и др.)
- Опыт работы с Python (pandas, PySpark, Airflow и др.)
- Понимание принципов построения DWH и Data Lake
- Опыт работы с системами контроля версий (Git)
- Навыки работы в Docker / CI/CD среде
Навыки
- Data Analysis
- API
- Apache Kafka
- CI/CD
- Docker
- SQL