Data Engineer

О проекте

Мы строим DataHub — централизованную платформу управления данными экосистемы Centras Group. Это «сердце» нашей IT-инфраструктуры, связующее звено между 20+ источниками (Web, Mobile, CRM, ERP) и потребителями данных (CDP, MDM, BI).

Наша глобальная цель — создать Single Customer View (единый профиль клиента), обеспечив бизнес качественными данными для персонализации маркетинга и принятия решений.

Ключевая задача (The Challenge)

Вам предстоит выстроить архитектуру данных. Главный вызов — реализовать механизмы идентификации и склейки профилей клиентов (Identity Resolution). Нужно превратить разрозненные потоки данных (анонимные cookie, user_id, транзакции в ERP) в «золотую запись» клиента, чтобы мы могли узнать своего пользователя на любом этапе взаимодействия — от первого клика на сайте до покупки.

Чем предстоит заниматься:

• Архитектура и проектирование: Спроектировать структуру хранилища данных (DWH) и архитектуру баз данных DataHub.
• ETL и Интеграция: Настройка пайплайнов сбора данных из разнородных источников (Logs API, CRM, ERP, внешние API). Разработка и поддержка DAG-ов в Apache Airflow.
• Identity Resolution: Реализация алгоритмов склейки профилей (связка centr_cid, user_id, contact_hash) для обеспечения кросс-платформенного трекинга.
• Качество данных (Data Quality): Внедрение процессов очистки, дедупликации и обогащения данных перед их передачей в MDM и CDP системы.
• Аналитическая база: Подготовка витрин данных для BI-систем и создание фундамента для будущей ML-аналитики.
• Взаимодействие с командой: Постановка технических заданий бэкенд-разработчикам (например, по прокидыванию ID в события) и тесное общение с бизнес-заказчиками.

Наш стек (текущий и планируемый):

• Orchestration: Apache Airflow.
• DB/DWH: PostgreSQL, ClickHouse.
• Languages: Python (pandas, pyspark, requests), SQL.
• Tracking & Sources: Yandex Metrica (Logs API), GA4, внутренние CRM/ERP системы.

Что ожидаем от кандидата:

Сильный SQL

Уверенный Python

Опыт с оркестраторами

Работа с веб-данными

Архитектурное мышление

Гибкость и командный дух

Будет большим плюсом :)

● Реальный коммерческий опыт построения DWH или CDP-систем с нуля.

● Опыт внедрения и профильного использования dbt (Data Build Tool).

● Навыки подготовки оптимизированных витрин для BI-инструментов (Superset, Tableau, Power BI).

● Понимание принципов Data Governance, обеспечения Data Quality и защиты персональных данных (GDPR/КЗПД).

Условия:

• Оформление согласно трудовому законодательству РК
• Скидки на медицинское страхование в собственной клинике
• Обучение и профессиональное развитие в iHub
• Участие в конференциях (внутренние и внешние)
• Корпоративная культура: тимбилдинги (летние и зимние), различные спортивные мероприятия, интеллектуальные игры (Quizы)
• Предоставление выходного дня (адм. дни - в зависимости от стажа работы в компании) без удержания заработной платы
• Отпуск 28 календарных дней
• Начисление баллов – Сенткоинов, возможность заработать внутреннюю валюту и потратить её на разные бонусы в компании.