Senior/Middle Data Engineer

Чем предстоит заниматься

• Разрабатывать и сопровождать ETL/ELT-пайплайны.
• Работать с Apache Airflow: разрабатывать, поддерживать и оптимизировать DAG.
• Проектировать и реализовывать интеграции и потоки данных.
• Работать с DWH (ODS / DDS / ADS) и большими объёмами данных.
• Оптимизировать запросы, пайплайны и процессы обработки данных.
• Анализировать и устранять инциденты, повышать стабильность процессов.
• Участвовать в code review и развитии стандартов разработки.
• Реализовывать и поддерживать проверки качества данных.
• Взаимодействовать с аналитиками, Data Scientists и другими командами.
• Участвовать в развитии Data Platform и технической документации.
• Для Senior — участвовать в архитектурных решениях, развитии инженерных практик и менторинге команды.

Что важно

• Уверенный SQL и Python.
• Практический опыт работы с Apache Airflow.
• Опыт разработки ETL/ELT-пайплайнов.
• Опыт работы с DWH и понимание архитектуры ODS / DDS / ADS.
• Опыт работы с MPP СУБД, предпочтительно Greenplum.
• Понимание принципов оптимизации запросов и пайплайнов.
• Опыт работы с Git и code review.
• Понимание принципов Data Quality и Data Governance.

Будет плюсом

• Опыт работы с ClickHouse и S3.
• Понимание Data Vault.
• Опыт настройки мониторинга и алертинга.
• Знакомство с каталогами данных, например OpenMetadata.
• Опыт CI/CD и DevOps-практик.