Senior Data Engineer (B2C)

Наша задача – построение единого хранилища фичей для моделей прогнозирования продаж розничного бизнеса на базе платформы Hadoop. Мы работаем над проектом по созданию инструмента, позволяющего унифицировать процесс сбора и опромышлевания данных, а так же обеспечить масштабируемость и надежность решения (в планах перевод фичей более 87 моделей на единый фича-стор). Проект предполагает создание витрин как в Batch, так и в NRT (near real time) режиме.

Обязанности

• Разрабатывать алгоритмы и собирать прототипы витрин (batch и real-time), выводить их в промышленную эксплуатацию и вносить изменения, используя внутренние фреймворки разработки
• Описывать фичи, готовить проектную документацию
• Проводить системное, функциональное и интеграционное тестирование
• Разрабатывать и внедрять методики контроля качества данных
• Работать с дефектами и инцидентами для устранения технологических проблем в качестве эксперта
• Консультировать заказчиков по вопросам логики формирования разработанных предложений

Требования

• Уверенное знание SQL(вложенные запросы, оконные функции, оптимизация запросов)
• Уверенное знание Scala или Java
• Опыт работы с экосистемой Hadoop(HDFS, HIVE, Apache Spark, Oozie)
• Опыт работы с DevOps инструментами- Git, Jenkins, SonarQube
• Опыт работы с технической проектной документацией – Бизнес-требования, Технические спецификации на разработку, Архитектура, User guide, Admin guide
• Желание развиваться в этой профессиональной области, работать в команде, проявлять инициативу и предлагать решения
• Будет плюсом
• Знание python и его библиотек работы с данными.
• Опыт работы с Apache Flink, Apache Kafka, HBase.
• Опыт работы в agile, понимание принципов этой методологии и фреймворков Scrum, Kanban и т.д.

Условия

• Комфортный современный офис рядом с м. Кутузовская
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Ипотека для сотрудников выгоднее до 7%
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• Вознаграждение за рекомендацию друзей в команду Сбера.