Data Engineer (DWH)

Мы ищем Data Engineer в команду разработки хранилища данных.
Зона ответственности команды DWH - качественные и своевременные данные, решающие потребности бизнеса. За платформу данных и подключение источников к озеру данных отвечает отдельная платформенная команда.

Чем предстоит заниматься:

• Развивать домены DWH. Основной потребитель и заказчик - продуктовые аналитики.
• Осуществлять проектирование и разработку витрин, которые позволят повысить оперативность и качество анализируемых данных
• Разрабатывать ETL для витрин на Spark (PySpark), выполнять их оркестрацию в Airflow.
• Выполнять оптимизацию производительности ETL
• Разрабатывать проверки качества данных, помогать в разборе в разборе инцидентов с данными.

Мы ожидаем от Вас:

• Глубокое знание SQL (включая оконные аналитические функции);
• Уверенное владение Python;
• Опыт написания пайплайнов на Spark и опыт работы с Hadoop-стеком (HDFS, YARN, Hive);
• Опыт работы с большими объемами данных и оптимизации производительности;
• Ответственность, самостоятельность, коммуникативность.

Будет плюсом:

• Опыт проектирования DWH

• Опыт Test-driven development (TDD)

Условия:

• Работу в одной из крупнейших в России компаний в сфере e-commerce.

• Комфортабельный офис в Москва-Сити/удаленный формат.

• Конкурентоспособную заработную плату.

• MacBook Pro 16" или 13" на M1 на ваш выбор.

• ДМС и страхование от несчастных случаев (со 100% страхованием детей).