Data Engineer

город республиканского значения Астана

Показать контакты

Описание вакансии

Обязанности:

Проектировать и поддерживать пайплайны загрузки данных (CDC)
из PostgreSQL / MySQL / MongoDB через Debezium + Kafka;
Развивать хранилище данных на ClickHouse: проектировать таблицы и схемы; выбирать движки (MergeTree и др.); настраивать шардирование и репликацию; создавать материализованные представления;
Оркестрировать пайплайны в Apache Airflow: писать DAG’и; создавать кастомные операторы; настраивать мониторинг и алерты;
Строить слой трансформаций в dbt: модели данных; тесты и документация; инкрементальные загрузки;
Оптимизировать: скорость выполнения запросов; затраты на хранение данных;
Обеспечивать качество данных: тесты; data‑контракты; контроль и observability;
Проводить code review;
Менторить junior‑инженеров и развивать инженерные практики в команде;

Требования:

Опыт работы более 3 лет в роли Data Engineer или на смежной позиции с фокусом на построение data-пайплайнов;
ClickHouse — глубокое понимание движков семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree, SummingMergeTree), партиционирования, проекций, материализованных представлений;
Опыт настройки шардирования и репликации;
Навыки оптимизации тяжёлых запросов;
Debezium + Kafka — опыт настройки CDC-коннекторов для реляционных и NoSQL-источников, понимание snapshot/streaming-режимов, обработка schema evolution, работа с Kafka Connect;
Apache Airflow — уверенное написание DAG'ов, опыт с TaskFlow API, разработка кастомных операторов и хуков, понимание архитектуры (scheduler, executor, workers), настройка мониторинга и алертинга;
DBT — построение моделей и тестов (generic и singular), макросы, инкрементальные модели, работа с источниками и снапшотами, ведение документации;
Уверенный SQL: оконные функции, CTE, чтение и оптимизация планов выполнения;
Python на уровне продакшн-кода;
Опыт работы с качеством данных: написание тестов, data contracts, observability-практики.

Условия:

Официальное трудоустройство по ТК РК;
График работы: 5/2;
Работа в офисе (БЦ Agar, Астана) — комфортное рабочее место;
Социальный пакет: оплачиваемый отпуск, больничные, ДМС после испытательного срока;
Работа в команде IT-поддержки;
Обучение за счёт компании: курсы, конференции, профильная литература;
Работа с разными системами и бизнес-процессами;
Доступ к базе знаний и внутреннему обучению.