Метадата Инженер | Metadata Manager/Engineer

Главная задача команды Data Platform – поддерживать и развивать хранилище больших данных и инструменты для работы с ними. Сейчас мы находимся в поисках сильного Metadata Engineer, которому предстоит работать с мета данными и автоматизировать процессы команд Data Platform. Если тебе интересно разбираться с нюансами в работе разных инструментов и с помощью данных описывать, что происходит на платформе и как используются ресурсы, а также влиять на процессы и автоматизировать рутину, то эта вакансия для тебя.

Чем предстоит заниматься:

• разрабатывать процессы сбора меты для datalake и систематизировать эти данные;
• развивать имеющийся процесс сбора меты для datalake при помощи написания и корректировки ETL (pyspark) процессов и сервисов на python;
• автоматизировать процессы обслуживания дата платформы;
• визуализировать мету с помощью каталога данных и системы отчетов;
• участвовать в разработке базы знаний команды.

Требования:

• опыт работы с Python от 1 года и более;
• опыт работы с Airflow, dagster, Luigi, Argo или похожим инструментом;
• умение получать и загружать данные из разных форматов, в том числе с помощью REST API;
• знание SQL (DDL, DML, оконные функции);
• готовность разбираться с незнакомыми инструментами/системами;
• желание развиваться в сфере BigData.

Будет плюсом:

• знание стека Hadoop (Hive, Spark и т.д.);
• опыт разработки сервисов на Python;
• опыт работы с PostgreSQL, Kafka;
• опыт использования системы отчетов для подготовки отчетов(Superset, Tableau и т.д.).

Условия:

• сильная команда, с которой можно расти;
• петабайты данных и огромные мощности для их переваривания;
• сложные, нетривиальные задачи для маркетплейса с миллионами пользователей;
• возможность влиять на процесс и результат;
• ДМС со стоматологией;
• гибкий график работы, гибридный или удалённый формат работы;
• достойная зарплата;
• MacBook или ноутбук Windows.