Team Lead Data Engineer (Аналитическая платформа Блока Риски)

Команда реализует важнейшие проекты по управлению большими данными и обеспечивает возможность для работы с данными большому количеству пользователей (data engineer, data science, data analyst) для решения бизнес-задач. Основная задача состоит в улучшении существующей инфраструктуры путем активного внедрения новых технологии, практик и решений для эффективной обработки и хранения данных обеспечивая при этом необходимую надежность и доступность. Активно развивается направление на базе ClickHouse в качестве инструмента Ad-hoc аналитики, обеспечивающего высокую производительность и NRT-обработку данных.

Обязанности

• масштабировать и поддерживать инфраструктуры хранения и обработки данных в объёме терабайтов ежедневных поступлений
• создавать и поддерживать решения на базе ClickHouse
• интегрировать ClickHouse с существующими сервисами и инструментами экосистемы данных (Greenplum, Hadoop, Kafka, Flink)..
• оптимизировать производительность системы и решение вопросов утилизации ресурсов
• настраивать и сопровождать ETL-процессы, организовывать контроль целостности и точности данных
• коммуницировать с заинтересованными сторонами и внутренними потребителями данных.

Требования

• опыт работы с ClickHouse, глубокое понимание особенностей её функционирования и способов повышения производительности
• практический опыт разработки и поддержки решений на основе больших данных (DWH объемом >1PB)
• опыт интеграции и синхронизации разнородных баз данных (ClickHouse + Greenplum)
• владение инструментарием работы с большими данными: Hadoop, Spark, Kafka, Flink, Trino
• опыт работы с оркестраторами и процессами ETL (Airflow, другие оркестраторы).
• понимание принципов построения микросервисной архитектуры и опыт успешной интеграции новых компонентов в инфраструктуру.

Условия

• график работы- гибрид
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• ипотека для сотрудников выгоднее до 7%
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.