Инженер данных в команду DWH

Мы ищем Инженера данных в команду DWH, где основная задача - поддержка инфраструктуры Единого аналитического хранилища Рекламной платформы.

Стек: Trino, ClickHouse, Airflow, PySpark, DBT.

Вам предстоит:

• разрабатывать витрины для конечного пользователя;
• интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH;
• реализовывать преобразования данных с учётом бизнес-логики и требований к качеству;
• обеспечивать надёжность пайплайнов;
• разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны;
• оптимизировать производительность обработки данных

Формат работы - гибридный или удаленный формат работы по договоренности с руководителем.

• опыт работы от 4 лет в Devops:
• уверенно владеете стеком Trino, HDFS, S3, Airflow, Apache Iceberg;
• владеете опытом работы с мониторингом (Prometheus + Grafana);
• был опыт работы с Хранилищем данных.