Data Engineer

Поддержка и стабилизация существующих ETL-пайплайнов;

Развёртывание и миграция рабочих процессов в Airflow;

Внедрение и поддержка базовых проверок качества данных (актуальность, полнота, уникальность);

Проектирование и реализация пайплайнов, интегрирующих данные из API, рекламных платформ и внутренних систем;

Участие в переходе от Slowly Changing Dimensions (SCD) к подходам Change Data Capture (CDC);

Обработка входящих запросов от других команд, связанных с хранилищем данных (например, создание новых таблиц, настройка импортов);

Подключение и интеграция новых внешних и внутренних источников данных в платформу;

Подготовка понятной и поддерживаемой документации для реализованных решений;

Сотрудничество с кросс-функциональными командами для обеспечения доступности и надёжности данных.

От 3 лет опыта работы в роли Data Engineer;

Опыт проектирования, реализации и поддержки пользовательских ETL-процессов;

Практический опыт работы с Airflow и ClickHouse;

Хорошие знания SQL и Python;

Проактивный, инициативный подход к работе.

Будет преимуществом:

Понимание принципов и сервисов AWS;

Опыт работы с реляционными базами данных, такими как MariaDB;

Знакомство с инструментами dbt и Docker.