Мы ищем Инженера данных в команду DWH, где основная задача - поддержка инфраструктуры Единого аналитического хранилища Рекламной платформы.
Стек: Trino, ClickHouse, Airflow, PySpark, DBT.
Вам предстоит:
- разрабатывать витрины для конечного пользователя;
- интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH;
- реализовывать преобразования данных с учётом бизнес-логики и требований к качеству;
- обеспечивать надёжность пайплайнов;
- разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны;
- оптимизировать производительность обработки данных
Формат работы - гибридный или удаленный формат работы по договоренности с руководителем.
Вы нам подходите, если: - опыт работы от 4 лет в Devops:
- уверенно владеете стеком Trino, HDFS, S3, Airflow, Apache Iceberg;
- владеете опытом работы с мониторингом (Prometheus + Grafana);
- был опыт работы с Хранилищем данных.