Ташкент, Малая кольцевая дорога, 4/1блок4
Управление пайплайнами: Проектировать, разрабатывать и поддерживать надёжные ETL/ELT-пайплайны с использованием Apache Airflow.
Оптимизация Lakehouse: Управлять и оптимизировать данные, хранящиеся в Lakehouse-форматах (Delta / Parquet), обеспечивая эффективное хранение и быстрый доступ к данным.
Интеграция данных: Синхронизировать данные между PostgreSQL, ClickHouse и центральным Lakehouse для поддержки пакетной аналитики.
Поддержка инфраструктуры: Использовать Microsoft Fabric для объединения data engineering, data science, а также Azure DevOps для управления версиями и процессами разработки.
Взаимодействие с командами: Тесно сотрудничать с кросс-функциональными командами для интеграции Lakehouse-форматов данных в downstream-сервисы и прикладные системы
Опыт работы Data Engineer от 3-х лет.
Orchestration: Практический опыт работы с Apache Airflow и PySpark для управления рабочими процессами.
Платформы данных: Подтверждённый опыт работы с Microsoft Fabric и облачными data-платформами
Языки: Экспертный уровень владения Python и продвинутый уровень SQL.
Базы данных: Уверенное знание PostgreSQL (реляционная БД) и ClickHouse (OLAP / колоночная БД).
Big Data: Сильный опыт работы с Apache Spark и PySpark (является большим преимуществом).
Архитектура: Понимание архитектуры Lakehouse и опыт работы с открытыми табличными форматами (Delta Lake).