Data Engineer (Динамическое ценообразование)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Ждем именно тебя!

Мы команда — Развитие клиентского опыта B2C. Вас ждет работа с технологическим стеком Hadoop, Apache Spark, Greenplum и др. на проекте, связанном с формированием индивидуальных предложений клиентам Сбербанка. Вы сможете построить новое решение без сопровождения Legacy. Участвовать в проработке архитектуры данных и построении хранилища с самого начала. Мы будем обеспечивать данными одно из самых приоритетных направлений крупнейшего банка в стране в части работы с клиентским опытом.

Обязанности

• разработка, оптимизация и сопровождение масштабных ETL/ELT pipeline-процессов на Hadoop и Greenplum для обработки больших данных
• интеграция и объединение данных из множества внутренних и внешних источников, включая потоки данных (Kafka), в единое хранилище (Hadoop)
• проектирование и развитие корпоративного хранилища данных на базе Greenplum и Hadoop: создание витрин данных для аналитики и отчётности, оптимизация существующих таблиц и запросов
• автоматизация и оркестрация процессов обработки данных
• обеспечение надежности, отказоустойчивости и качества данных в рабочих контурах: мониторинг производительности, выявление узких мест и их устранение
• взаимодействие с бизнес- и ИТ-командами для уточнения требований к данным и совместной реализации проектов.

Требования

• опыт работы в роли Data Engineer (или аналогичной) от 2 лет
• уверенное владение SQL: написание сложных запросов, оптимизация производительности, понимание принципов проектирования баз данных и организации хранилищ данных
• практическое применение технологий Big Data: Hadoop (HDFS, YARN), Apache Spark (написание и запуск jobs), а также с системами хранения/обработки данных вроде Hive, Impala или Greenplum
• опыт использования систем оркестрации и планировщиков задач (Apache Airflow, Oozie или аналогичные) для построения ETL/ELT процессов
• знание инструментов контейнеризации и облачной оркестрации (Docker, Kubernetes) и опыт работы с потоковыми данными (Kafka или аналогичные платформы)
• понимание принципов распределенных вычислений, высоконагруженных систем и обработки больших объемов данных
• английский язык на уровне, достаточном для чтения технической литературы и документации.

Будет плюсом:

• опыт работы с данными в банковской или финансовой сфере, понимание специфики банковских больших данных
• знакомство с дополнительными инструментами big data и stream-аналитики
• знание Java, Scala для разработки данных
• сертификаты в области Data Engineering или Big Data и участие в профессиональных сообществах, конференциях, open-source проектах
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

• возможность гибридного графика; гибкое расписание работы – по договоренности
• корпоративное обучение и профессиональный рост: доступ к программам СберУниверситета, внутренним тренингам, курсам и конференциям
• доступ к одному из самых крупных хранилищ данных в России и новейшим технологиям для работы с Big Data (Hadoop-кластер, MPP-системы и др.)
• участие в проектах огромного масштаба: вы будете работать над решениями, которые влияют на миллионы клиентов, и внедрять инновации в банковской отрасли
• культура командной работы и инноваций: опытная, сплочённая команда, обмен знаниями, участие в Agile-процессах, приветствуются инициативы и новые идеи
• официальное оформление по ТК РФ, стабильный оклад и ежегодная премия; прозрачные перспективы карьерного роста
• полный соцпакет от крупной технологичной компании: ДМС для сотрудника и семьи, льготные условия на продукты Сбера (ипотека, страховки), корпоративные скидки и бонусы.