Data Engineer

Halyk Market — ведущая e-commerce платформа в Казахстане. Мы предлагаем широкий ассортимент товаров и услуг, быструю доставку и качественный клиентский сервис.

Наша цель — предоставить клиентам удобный и безопасный опыт онлайн-покупок.

Сейчас мы ищем Data Engineer.

Обязанности:

• Проектирование и поддержка хранилища
• Создание и оптимизация таблиц ClickHouse (ReplacingMergeTree, MergeTree, партиционирование, репликация)
• Проектирование Materialized Views для решения задач агрегации, маршрутизации и исторического хранения данных
• Администрирование схем и структур данных
• Пайплайны и оркестрация
• Разработка и сопровождение Airflow DAGs
• Построение и сопровождение пайплайнов Kafka → ClickHouse/PostgreSQL
• Настройка топиков, мониторинг консьюмеров, обработка задержек и ошибок доставки
• Вставка больших объёмов данных с контролем производительностиРабота с PostgreSQL
• Написание и поддержка скриптов для извлечения и трансформации данных
• Интеграция PostgreSQL как источника данных в downstream пайплайны
• Поддержка ML-команды
• Хранение и версионирование истории рекомендаций
• Подготовка и поставка данных для обучения и инференса моделей
• Совместная работа с ML-инженером по структуре фич и событийных данных

• Высшее образование в области сomputer science/ data engineering
• 2–3 года в data engineering или смежной роли (data analyst с уклоном в инженерию, backend с фокусом на данных)
• Базы данных: ClickHouse (MergeTree-движки, Materialized Views, репликация, оптимизация запросов)
• PostgreSQL (скрипты, трансформации, интеграции)
• Оркестрация и потоки: Apache Airflow (DAG-разработка, retry-логика, мониторинг),Apache Kafka (топики, консьюмеры, пайплайны)
• Аналитика и визуализации: Apache Superset (датасеты, дашборды),SQL (аналитический уровень)
• Трансформации:dbt (модели, тесты)
• Программирование:Python (пайплайны, скрипты, автоматизация)
• Прочее:Git— Linux / bash

Ключевая зона ответственности:

• Построение и поддержка надёжной data-инфраструктуры компании: своевременная поставка данных для рекомендательной системы и ML-команды, стабильная работа аналитических пайплайнов, хранилища и дашбордов для бизнес-отчётности.

Условия:

• Стандартный офисный график, без удаленного формата работы.
• Медицинское страхование + возможность подключить членов семьи;
• Свободный dress code;
• Оформление согласно ТК РК, 30 календарных дней отпуска;
• Комфортный офис в верхней части города;
• Теплая атмосфера, крутая команда, помощь и поддержка коллег;
• Возможность участвовать в разработке крупного eCommerce продукта;
• Обучение за счет компании и постоянное развитие.