Data Engineer

BI Group

Data Engineer

город республиканского значения Астана

Описание вакансии

Обязанности:
  • Проектировать и поддерживать пайплайны загрузки данных (CDC)
    из PostgreSQL / MySQL / MongoDB через Debezium + Kafka;
  • Развивать хранилище данных на ClickHouse: проектировать таблицы и схемы; выбирать движки (MergeTree и др.); настраивать шардирование и репликацию; создавать материализованные представления;
  • Оркестрировать пайплайны в Apache Airflow: писать DAG’и; создавать кастомные операторы; настраивать мониторинг и алерты;
  • Строить слой трансформаций в dbt: модели данных; тесты и документация; инкрементальные загрузки;
  • Оптимизировать: скорость выполнения запросов; затраты на хранение данных;
  • Обеспечивать качество данных: тесты; data‑контракты; контроль и observability;
  • Проводить code review;
  • Менторить junior‑инженеров и развивать инженерные практики в команде;
Требования:
  • Опыт работы более 3 лет в роли Data Engineer или на смежной позиции с фокусом на построение data-пайплайнов;
  • ClickHouse — глубокое понимание движков семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree, SummingMergeTree), партиционирования, проекций, материализованных представлений;
  • Опыт настройки шардирования и репликации;
  • Навыки оптимизации тяжёлых запросов;
  • Debezium + Kafka — опыт настройки CDC-коннекторов для реляционных и NoSQL-источников, понимание snapshot/streaming-режимов, обработка schema evolution, работа с Kafka Connect;
  • Apache Airflow — уверенное написание DAG'ов, опыт с TaskFlow API, разработка кастомных операторов и хуков, понимание архитектуры (scheduler, executor, workers), настройка мониторинга и алертинга;
  • DBT — построение моделей и тестов (generic и singular), макросы, инкрементальные модели, работа с источниками и снапшотами, ведение документации;
  • Уверенный SQL: оконные функции, CTE, чтение и оптимизация планов выполнения;
  • Python на уровне продакшн-кода;
  • Опыт работы с качеством данных: написание тестов, data contracts, observability-практики.
Условия:
  • Официальное трудоустройство по ТК РК;

  • График работы: 5/2;

  • Работа в офисе (БЦ Agar, Астана) — комфортное рабочее место;

  • Социальный пакет: оплачиваемый отпуск, больничные, ДМС после испытательного срока;

  • Работа в команде IT-поддержки;

  • Обучение за счёт компании: курсы, конференции, профильная литература;

  • Работа с разными системами и бизнес-процессами;

  • Доступ к базе знаний и внутреннему обучению.

Навыки
  • Python
  • SQL
  • Clickhouse
  • Apache Kafka
  • Apache Airflow
  • Tasks Tracking Sytems
Посмотреть контакты работодателя

Адрес

Похожие вакансии

Mechta.kz TM ( ТОО Мечта Маркет )

Data Engineer (Middle+)

Mechta.kz TM ( ТОО Мечта Маркет )

  • Астана

  • Не указана

Рекомендуем
Центр цифрового развития Национального Банка Казахстана

Data Scientist (Middle) / LLM Engineer

Центр цифрового развития Национального Банка Казахстана

  • Астана

  • от 800000 KZT

Рекомендуем
Andersen
  • Астана

  • от 800000 KZT

Рекомендуем
Andersen
  • Астана

  • от 800000 KZT

Armeta KZ
  • Астана

  • от 800000 KZT

ALG Innovations
  • Астана

  • от 800000 KZT

  • Астана

  • до 1300000 KZT

Успех ЛТД НС

Инженер геофизик

Успех ЛТД НС

  • Астана

  • до 3000 USD

Представительство АО Хайтера Комьюникейшенс в Казахстане

Senior Telecommunications Engineer

Представительство АО Хайтера Комьюникейшенс в Казахстане

  • Астана

  • до 3000 USD

Astana Megapolis Project
  • Астана

  • до 3000 USD

BI Group
  • Астана

  • до 3000 USD

Bastau Project
  • Астана

  • до 3000 USD

Казахский научно-исследовательский проектный институт энергетики и связи

Главный инженер проекта

Казахский научно-исследовательский проектный институт энергетики и связи

  • Астана

  • до 800000 KZT

Инженер ПТО по сетям

РААФ-инжиниринг

  • Астана

  • от 600000 KZT

AQMOL-project
  • Астана

  • от 850000 KZT

Adacta Technology
  • Астана

  • от 850000 KZT

Jana tolqin
  • Астана

  • от 850000 KZT

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию