Data Engineer

Цель

Расширение команды DataGate для построения и оптимизации DWH / Lakehouse.

Обязанности

• Разработка, поддержка и оптимизация ETL/ELT-пайплайнов.

• Интеграция данных: БД, API, файловые хранилища, стриминг.

• Обеспечение Data Quality: валидация, дедупликация, контроль полноты.

• SQL tuning, партиционирование, индексация.

• Настройка оркестрации, мониторинга и алертинга.

• Документирование потоков данных.

• Сбор требований от аналитиков, BI и ML-команд.

Требования

Обязательные:

• Опыт работы: от 3 лет в Data Engineering.

• Образование: Высшее (бакалавр).

• SQL: Сложные запросы, оконные функции, оптимизация производительности.

• Python: Написание скриптов обработки данных.

• Базовое проектирование DWH (Star Schema, Snowflake).

• Опыт работы с реляционными БД (PostgreSQL, MS SQL, Oracle).

• Понимание работы API и Git.

Будет плюсом:

• Оркестраторы: Airflow / Prefect.

• Инструменты: dbt, Kafka, Spark Streaming.

• Платформы: Databricks / Snowflake / BigQuery.

• Подходы: Data Vault, Lakehouse, Data Governance.