Middle Data Analyst (Apache Spark / Scala)

Мы ищем Middle Data Analyst, который будет работать с большими объёмами данных. Вам предстоит строить витрины данных на Apache Spark (Scala API Dataframe), оптимизировать существующие задачи и готовить данные для аналитики и ML-моделей.

Обязанности

• разработка и поддержка витрин данных на Spark (Scala API)
• оптимизация и ускорение существующих Spark-задач, борьба с перекосами и деградацией производительности
• подготовка и обогащение данных для аналитики и ML-моделей (feature engineering)
• построение метрик, ad-hoc анализ и подготовка отчётности

Требования

• уверенное владение SQL и практический опыт анализа больших обьемом данных
• умение решать аналитические задачи: сложные JOIN, агрегации, оконные функции
• понимание принципов оптимизации запросов и умение читать и анализировать explain plan
• уровень самостоятельности: берёте задачу, формулируете уточняющие вопросы, не ждёте пошаговых инструкций
• умение уточнять задачу, работать с неоднозначными требованиями
• умение проверять собственную работу на корректность и данные на качество
• инициативность: видите проблему в коде или пайплайне — предлагаете решение
• аккуратная коммуникация: понятные комментарии, описание изменений, готовность объяснить результат простыми словами
• ответственность за результ

Будет плюсом

• опыт работы с Apache Spark преимущественно через Scala API/Dataframe API
• участие в проектах построения DWH
• опыт работы с LLM-решениями при разработке витрин данных
• опыт подготовки данных для ML
• навыки работы с Git
• критическое мышление

Условия

• фул офис 5\2,
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.