Data Engineer (GenAI)

Мы разрабатываем инновационную платформу на основе генеративного искусственного интеллекта (GenAI), предназначенную для автоматизации создания и управления маркетинговыми кампаний. Основной целью нашего продукта является генерация персонализированных коммуникаций в автономном режиме, где мультиагентные системы самостоятельно анализируют данные аудитории, разрабатывают стратегии, создают контент и оптимизируют результаты в реальном времени.

Обязанности:

• проектирование и построение batch- и streaming-витрин
• проработка архитектуры хранилища данных, а также его интеграцию с внешними системами
• загрузка, очистка и трансформация больших объемов данных из различных источников в рабочую область (платформы GreenPlum и Hadoop)
• мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
• контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных
• участие в анализе требований, оценке трудоёмкости задач и планировании релиза совместно с командой.

Требования:

• опыт работы scala-разработчиком/дата-инженером от 2 лет
• знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов)
• опыт с Apache Spark (обязательно). Опыт с Flink, Kafka, Iceberg или аналогичными
• понимание DWH/Data Lake, ETL/ELT-процессов, SCD, Data Quality
• опыт работы с большими объемами данных, построения хранилищ и витрин данных
• понимание принципов DevOps и опыт участия в процессах автоматизации сборки, тестирования и развёртывания
• ответственное отношение к выполнению задач, желание профессионально расти и развиваться

будет плюсом:

• знание Python
• опыт с ClickHouse, Kubernetes, S3.

Условия

• работа в современном и комфортном офисе рядом с метро Кутузовская
• ежегодный пересмотр зарплаты и годовая премия
• гибридный (удаленный) формат работы после испытательного срока
• расширенный ДМС и льготное страхование для семьи
• уникальная система обучения Сбера для профессионального и карьерного развития
• выгодная ипотека для сотрудников
• бесплатная подписка СберПрайм+, скидки на продукты компании-партнёров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.