Data engineer (Кредитование)

Кластер "Автоматизация кредитного процесса" в малом бизнесе.

Наша команда будет заниматься разработкой и выводом витрин данных в промышленный контур (Hadoop), исследованием новых источников данных, строить интеграцию со смежными системами.

Обязанности

• исследовать источники данных (внешних данных, реплик АС Банка, других витрин)
• разрабатывать и менять витрины данных на Hadoop исходя из требований аналитиков данных
• создавать алгоритмы загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
• писать функции для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python)
• Code Review изменений, предлагаемых коллегами из своей и соседних команд.

Требования

• знаешь SQL на уровне аналитических запросов и оптимизация запросов
• умеешь обращаться с git, bash
• знаешь языки программирования Java/Scala, Python
• есть понимание работы Hive, Spark на Hadoop, парадигмы MapReduce
• опыт разработки на Spark/PySpark, оптимизации выполнения сценариев на Spark
• имеешь опыт использования Apache Oozie
• понимаешь процессы ETL, ELT.

Условия

• комфортный современный офис рядом с м. Кутузовская
• формат работы - гибридный после испытательного срока
• ежегодный пересмотр зарплаты и годовую премию
• корпоративный спортзал и зоны отдыха с массажными креслами
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.