Data engineer

Наш проект - разработка для Банка Топ 3. Это самое масштабное хранилище банка. Лаборатория данных - решение позволяющее создавать прототипы аналитических витрин, разрабатывать новые фичи для моделей и обучать модели для тестирования, проводить пилоты по различным направлениям бизнеса.

Сейчас мы ищем Data engineer для решения ключевой задачи по поставке данных, стабильного обновления данных из различных источников.
Стек технологий: Hadoop, Hive ,SQL, Spark, ETL

Твои задачи:

• Развитие хранилища данных на основе Hadoop
• Разработка и изменение витрин данных на Hadoop исходя из требований
• Создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
• Написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python)

Мы ждем от тебя:

• Знания SQL на высоком уровне
• Опыт промышленной разработки на реляционных СУБД (предпочтительно MPP)
• Опыт построения ETL потоков и разработки хранилищ данных
• Работа с большими данными
• Понимание работы Hive, Spark на Hadoop
• Знания языков программирования Java/Scala, Python

Что мы обеспечим:

• Команда профессионалов, где каждый увлечен своим делом и готов поделиться экспертизой, а также возможность нести новые знания и технологии
• Безграничная прокачка скиллов
• Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Новая техника для комфортной работы
• Корпоративная культура с своими ценностями и традициями
• Сообщества по интересам: Лига Спорта, Лига Экспертов, Лига Интеллекта, а также возможность организовать свое сообщество и получить поддержку от компании
• Сессия профессионального развития дважды в год, результатом которой является план индивидуального развития каждого сотрудника и получение обратной связи
• Новая техника для комфортной работы