ETL/Data Engineer
ETL/Data Engineer
Описание вакансии
Обязанности:
Посмотреть контакты работодателя
- Разработка шаблонизированных ETL/ELT процессов;
- Сопровождение Apache Spark / PySpark jobs;
- Поддержка ETL/ELT-процессов для DWH;
- Пакетная обработка данных (batch processing);
- Оркестрация и автоматизация пайплайнов с помощью Apache Airflow;
- Очистка, трансформация и агрегация данных;
- Оптимизация производительности Spark-задач (конфигурации, партиционирование, масштабируемость);
- Развитие моделей данных DWH;
- Использование платформ хранения данных;
- Управление миграциями схем БД с использованием Liquibase;
- Работа с брокерами сообщений в рамках data-pipeline;
- Поддержка и развитие существующих data-решений.
-
Опыт работы ETL / Data Engineer от 3 лет
-
Опыт работы с хранилищами данных (DWH)
-
Понимание принципов построения и эксплуатации data-платформ
-
Опыт промышленной эксплуатации data-pipeline
-
Умение работать в распределённых системах обработки данных
- Профессиональный коллектив;
- Неограниченный рост;
- Бонусы и уникальные предложения от компаний холдинга;
- Спонсирование профессионального обучения.
Похожие вакансии
Аналитик данных / Marketing Data Analyst — международная онлайн-школа K-12
Legacy Online School
Алматы
Не указана
Team Lead DevOps / Infrastructure Engineer
Частная компания “Automated Communication Solutions Ltd.”
Алматы
до 800000 KZT
Алматы
до 1000 USD
