Data Engineer

​​​
Требования:
знание SQL на уровне аналитических запросов;
умение обращаться с git, bash.
знания языков программирования Java/Scala, Python;
понимание работы Hive, Spark на Hadoop;

Будет плюсом:
опыт разработки на Spark/PySpark;
оптимизация выполнения сценариев на Spark;
опыт использования Apache Oozie;
понимание процессов ETL, ELT

Задачи:
- исследование источников данных (внешних данных, реплик АС Банка, других витрин);
- разработка и изменение витрин данных на Hadoop исходя из требований аналитиков данных;
- создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц;
- написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python);
- Code Review изменений, предлагаемых коллегами из своей и соседних команд.

Условия:
Возможность профессионального и карьерного роста в компании
Возможность поучаствовать в разных проектах;
Опыт работы в распределенной команде профессионалов;
Офисный формат работы в Москве