Senior Data Engineer

Находимся в поиске Senior Data Engineer со знанием английского языка

Стек: PostgreSQL, ClickHouse, Airflow, dbt, Python, SQL.

Задачи:

• Проектирование и развитие архитектуры DWH.
• Разработка ELT-пайплайнов и оркестрация в Airflow.
• Трансформация данных и Data Quality через dbt.
• Тюнинг производительности, оптимизация тяжелых запросов в ClickHouse и PostgreSQL.
• Код-ревью, менторство, участие в архитектурных ревью.

Требования:

• Опыт в Data Engineering от 3 лет.
• Expert SQL: сложные запросы, оптимизация, чтение планов (EXPLAIN).
• Глубокое понимание ClickHouse: движки, шардирование, распределенные таблицы, специфика JOIN и агрегаций.
• Отличное знание PostgreSQL: транзакции, блокировки, индексы, партицирование.
• Уверенный Airflow: кастомные DAG-и, XCom, Pools, Sensors.
• Опыт промышленного dbt: модели, макросы, тесты, CI/CD.
• Python: написание скриптов, кастомных коннекторов.
• Понимание методологий моделирования DWH (Kimball, Data Vault, OBT).

Будет плюсом:

• Kafka / брокеры сообщений.
• S3, Parquet, Iceberg / Delta Lake.
• Docker, Kubernetes, CI/CD (GitLab CI / GitHub Actions).
• Инструменты Data Quality (Great Expectations и аналоги).