Data Engineer (Middle / Middle+)

1. Разрабатывать и поддерживать ETL/ELT пайплайны в Airflow: загрузка данных из внутренних систем и внешних источников в ClickHouse и PostgreSQL.

2. Развивать слои данных (staging, DDS, витрины) с помощью dbt: модели, инкрементальная загрузка, тесты, документация.

3. Настраивать и сопровождать репликацию данных из операционных PostgreSQL-баз в DWH через CDC (Debezium, Kafka).

4. Оптимизировать хранение и запросы в ClickHouse: схемы таблиц, партиционирование, ключи сортировки, материализованные представления.

5. Следить за качеством данных: тесты, валидация витрин, алертинг при сбоях пайплайнов.

6. Участвовать в code review и развитии инженерных практик команды (Git, CI/CD).

Что мы ожидаем:

1. ClickHouse: опыт проектирования таблиц (семейство MergeTree), понимание партиционирования и ключей сортировки, умение оптимизировать запросы. Опыт с материализованными представлениями будет преимуществом.

2. PostgreSQL: уверенная работа, понимание индексов и планов запросов. Понимание механизмов репликации (физическая и логическая, слоты репликации) - как минимум на уровне концепций.

3. Airflow: опыт построения DAG, инкрементальная загрузка (по времени, по ID), backfill, обработка ошибок и ретраи.

4. dbt: написание моделей (table/view/incremental), тесты, документация. Понимание, зачем нужен lineage.

5. CDC: понимание принципов Change Data Capture. Практический опыт с Debezium - сильное преимущество; готовы рассматривать кандидатов, которые работали с CDC другими инструментами и готовы быстро освоить Debezium.

6. Kafka: понимание базовых концепций - топики, партиции, консьюмеры и consumer groups, offset management, гарантии доставки. Глубокий опыт администрирования не требуется.

7. SQL - свободно, включая оконные функции. Python - уверенно (обработка данных, работа с API, clickhouse-driver).

8. Git и базовое понимание CI/CD (GitLab CI / GitHub Actions).

Будет плюсом:

1. Опыт интеграции Kafka с ClickHouse (Kafka Engine, Kafka Connect).

2. Опыт работы с Docker и Kubernetes.

3. Опыт работы с S3 / MinIO как промежуточным слоем.

4. Понимание методологий моделирования данных (Data Vault, dimensional modeling, SCD type 2).

5. Опыт настройки мониторинга и алертинга пайплайнов (например, в Slack / Telegram).

• Удаленный формат сотрудничества.

• 200 000 руб — стартовая вилка, итоговая сумма обсуждается по опыту.

• Возможность выбрать форму сотрудничества и оплаты (все налоги — наша забота).

• Онбординг-квест — не бросим в бой без подготовки, введем в курс дела и подключим к команде.

• Занятость 5/2 с 8-часовым рабочим днем.

• Команда профи— работаешь с инициативными и увлеченными коллегами.

• Пауза на восстановление — «перезагрузиться» можно в оплачиваемом отпуске или на больничном.

Откликайся на вакансию — это первый шаг к тому, чтобы стать частью команды, которая меняет правила игры. Ваш ход! 🎮