Senior Data Engineer / Data Platform Engineer

Мы ищем опытного инженера, который возьмёт на себя развитие нашей Data Platform и построение полноценных data-пайплайнов и витрин под продуктовую и аналитическую нагрузку.

Зоны ответственности

Поддержка и развитие Data Platform

• CDC (Debezium) → Kafka → Lakehouse → ClickHouse

• инженерия данных и проектирование DWH (ODS / DWD / DM)

Инжиниринг и DWH

• проектирование витрин данных

• построение надёжных ETL/ELT пайплайнов (batch и streaming)

• моделирование DWH и data marts

Администрирование платформы

• Debezium, Kafka Connect, Kafka topics

• Greenplum

• эксплуатация ClickHouse кластеров

• работа с S3/MinIO и Lakehouse

• Trino (coordinator/workers, connectors)

Data Applications

• кастомизация Superset backend (Python): фильтры, права, бизнес-логика

Производительность

• оптимизация SQL-запросов

• оптимизация работы систем хранения и обработки данных

DevOps и эксплуатация

• Linux, systemd

• HAProxy / CHProxy

• мониторинг и отказоустойчивость

Требования

• Сильный SQL и Data Modeling (3NF, OLAP, Star/Snowflake, SCD)

• уверенная работа с Debezium, Kafka, ClickHouse

• опыт проектирования и разработки ETL/ELT (batch + streaming)

• Trino + Lakehouse (Iceberg/Parquet/Hive/MinIO)

• Python (для Superset backend и ETL инструментов)

• Linux, Bash, сетевые сервисы

• 5+ лет в Data Engineering / Platform Engineering / Data Developer

• опыт построения производственных data-пайплайнов

• практический опыт работы с OLAP-кластерами и витринами данных

• опыт работы с ClickHouse под high-load

• опыт внедрения Lakehouse-архитектуры

• знание принципов Data Governance и либо CDC в enterprise-средах

Условия:

• Молодой и дружный коллектив
• Официальное трудоустройство
• Участие в крупных государственных проектах
• Возможность карьерного и профессионального роста