Data Engineer

Группа «ADM GLOBAL» — молодая, стремительно растущая, активная команда, которая стала первой среди частных компаний в автобизнесе, кто завез иностранные марки авто в Узбекистан.

В рамках цифровой трансформации группы компаний «ADM GLOBAL» ИТ-компания строит современную data-платформу для группы компаний: продажи, финансы, лизинг, сервис, маркетинг и управленческая отчётность.

Мы уже развернули кластер Arenadata ADB / Greenplum в dev/prod-контуре, начали формировать базовую структуру DWH, поднимаем инженерный стек вокруг dbt, Airflow, Git и CI/CD. Сейчас проект находится на ранней стадии: фундамент уже заложен, но ключевые архитектурные решения, стандарты разработки, пайплайны и витрины ещё предстоит довести до промышленного уровня.

Проект находится на ранней стадии: фундамент уже заложен, но ключевые пайплайны, модели данных, витрины и инженерные практики ещё предстоит довести до промышленного уровня.

Ищем инженера, которому интересно развиваться в построении data-платформы, работать с реальными бизнес-данными и участвовать в создании DWH почти с нуля.

Обязанности:

• Развитие DWH и data-платформы
  - Участвовать в разработке слоистой архитектуры DWH: Raw/Staging → ODS/DV → Data Marts
  - Разрабатывать модели данных в dbt: staging-модели, базовые преобразования, витрины для BI и отчётности
  - Реализовывать инкрементальные загрузки и простые механизмы историчности данных
  - Помогать описывать источники, поля, бизнес-правила и логику преобразований
  Участвовать в развитии ядра DWH, где Data Vault 2.0 рассматривается как направление, но глубокий опыт DV2.0 не обязателен

• Пайплайны и orchestration
  - Разрабатывать и поддерживать DAG’и в Airflow
  - Настраивать расписания, зависимости, retries и базовую обработку ошибок
  - Поддерживать регулярные загрузки данных и разбираться с причинами падений
  - Работать с логами, статусами загрузок и простым мониторингом пайплайнов

• Интеграции и загрузка данных
  - Реализовывать загрузки из разных источников: 1С, PostgreSQL/OLTP БД, внешние API, файлы и внутренние сервисы
  - Разбираться в структуре источников: таблицы, документы, справочники, регистры, связи между сущностями
  - Писать Python-код для загрузок и сервисных задач: API-запросы, обработка ошибок, логирование, ретраи
  - Готовить данные для дальнейшей трансформации и аналитического использования

• SQL, MPP и производительность

  - Писать и оптимизировать SQL-запросы для аналитических задач
  - Работать с **Arenadata ADB / Greenplum** или аналогичными MPP/distributed SQL-системами
  - Учитывать особенности MPP: распределение данных, большие join’ы, партиционирование, объёмы данных
  - Разбираться с базовыми проблемами производительности вместе с Senior/Lead-инженерами

• Качество данных и инженерные практики

  - Настраивать базовые проверки качества данных: полнота, уникальность, отсутствие дублей, контроль свежести
  - Писать понятный и поддерживаемый код
  - Работать через Git: ветки, merge requests, code review
  - Документировать модели, источники и ключевые решения
  - Участвовать в формировании стандартов команды и постепенно брать больше самостоятельности

• Опыт от 2–4 лет в Data Engineering, DWH, ETL/ELT, BI-инженерии или смежных ролях
• Уверенный SQL: join’ы, оконные функции, CTE, агрегации, работа с большими таблицами
• Базовое понимание оптимизации SQL-запросов
• Практический Python для задач загрузки, обработки данных и автоматизации
• Опыт работы с Airflow, dbt или похожими инструментами будет преимуществом
• Понимание ETL/ELT-подходов и базовых принципов построения DWH
• Готовность разбираться в сложных источниках данных, включая 1С
• Умение работать с Git
• Внимательность к качеству данных и деталям
• Опыт работы с PostgreSQL, Greenplum, ClickHouse или другими аналитическими БД будет преимуществом

Будет плюсом:

• Опыт с dbt: модели, тесты, документация, Jinja
• Опыт с Airflow: DAG’и, расписания, retries, backfill
• Опыт с Greenplum / Arenadata ADB или другими MPP-хранилищами
• Базовое понимание Data Vault, Anchor Modeling, Kimball или других подходов к моделированию DWH
• Опыт работы с API, JSON/XML, файловыми загрузками

Условия:

• Официальное трудоустройство по ТК РУз

• График работы: 5/2, 9:00–18:00

• Частичная компенсация обедов за счёт компании (70%)

• Частичная компенсация абонемента в спортзал PUSH30 (50% после 6 месяцев работы)

• Выгодные условия на приобретение автомобилей брендов группы и услуг компании (после 1 года работы)

• Корпоративные мероприятия, тимбилдинги и разнообразные внутренние активности по интересам

• Дружный коллектив и выстроенные рабочие процессы