Data engineer (Рекламная платформа)

Мы ищем Data engineer в команду развития специализированных витрин данных.

Обязанности

Чем предстоит заниматься:

• разрабатывать и поддерживать витрины данных в облачной экосистеме
• проектировать и улучшать архитектуру системы
• разрабатывать и оптимизировать пайплайны обработки данных/ETL на Python / Scala, а также помогать другим командам
• внедрять контроль качества данных (SODA).

Требования

• высшее образование
• опыт в аналогичной роли от 3 лет
• понимание принципов модели распределенных вычислений
• опыт в поиске, обработке и построении витрин данных при помощи Spark и SQL
• опыт промышленной разработки на стеке Scala/Java/Python
• знание и опыт использования инструментов по обработке больших данных (Spark, Trino, Polars и др.)
• опыт работы со стримингом (Flink, Spark Streaming, Kafka и др.)
• хорошие знания SQL, опыт работы с одной из реляционной БД - Oracle/PostgreSQL/mySQL/MS SQL Server
• опыт работы с S3, HDFS
• знание любого оркестратора (AirFlow/Oozie/Dagster/Argo Workflows)
• понимание подходов к организации разработки (CI/CD, DevOps).

Будет плюсом:

• опыт работы с Iceberg
• опыт работы с DataHub/OpenMetaData
• опыт работы с SODA/GreateExpectation
• опыт работы с ClickHouse
• опыт работы с Kubernetes
• навыки работы с генеративными AI-моделями
• опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

• офис рядом с метро Маяковская
• гибридный формат работы
• годовой бонус и ежегодный пересмотр
• расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
• корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
• 90 дней удаленной работы из любого региона РФ
• льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.