Data Engineer

Минск, проспект Победителей

Метро: Пушкинская

Описание вакансии

Мы, команда анализа данных, ищем мотивированного Data Engineer уровня Middle.

Вам предстоит играть ключевую роль в развитии и поддержке нашей Data-экосистемы, включая Data Catalog, BI-платформу и ежедневные ETL-процессы DWH.

Data Catalog — это централизованная платформа управления метаданными, которая помогает сотням сотрудников обнаруживать, понимать и доверять данным компании.

Стек: Python, Oracle, PostgreSQL, Apache Airflow, Docker, API, Postman.

Какие ждут задачи:

Разработка и поддержка Data Catalog: создание новых функциональных модулей на Python, интеграция новых источников данных через API и написание коннекторов;
Автоматизация пайплайнов: разработка, развертывание и мониторинг DAG в Apache Airflow для автоматического сбора метаданных и обеспечения работы ETL-процессов DWH;
Работа с данными: проектирование и реализация схем загрузки, моделей данных и витрин для BI-систем;
Мониторинг и надежность: создание системы мониторинга и алертов для отслеживания корректности и производительности пайплайнов и платформы в целом;
Командная работа: тесное взаимодействие с аналитиками данных, дата-сайентистами и разработчиками для совместного развития data-продуктов.

Наши ожидания:

Высшее образование в области математики, статистики, информатики, инженерии или других связанных областях;
Опыт работы от 3-х лет на позиции инженера данных;
Отличное знание Python;
Уверенный опыт работы с реляционными СУБД (Oracle, PostgreSQL) и написания сложных SQL-запросов;
Практический опыт работы и администрирования Apachе Airflow;
Опыт работы с платформой Apache Kafka;
Умение работать с Git, Jira, Confluence.

Будет плюсом:

Опыт проектирования DWH и создания витрин данных;
Практический опыт работы с DBT;
Знакомство с колоночными БД (ClickHouse) и поисковыми движками (ElasticSearch);
Опыт построения RAG-систем.

Условия:

Работа в офисе, г. Минск, БЦ «Виктория Олимп»;
Современная корпоративная среда и социальный пакет (подробнее – в профиле компании или на сайте);
Индивидуальный подход к мотивации и компенсации.