Архитектор хранилища данных

Мы ищем архитектора хранилища данных для работы в крупном банке с промышленным хранилищем данных и большими объемами финансовых и операционных данных. Вы будете разрабатывать и сопровождать ETL/ELT-пайплайны, обеспечивать надежность загрузок и качество данных на всех этапах: от источников до витрин и BI-отчетности.

Технологический стек:
• Хранилище данных и ETL: Greenplum, UI DWH (настройка ETL-загрузки), Airflow
• BI-платформа: Power BI (DAX, ролевые модели доступа)
• Управление данными и моделирование: Data Vault 2.0, OpenMetadata (каталог данных)
• Инструменты и инфраструктура: SQL-клиент (DBeaver или аналог), Git, GitLab, Wiki (Eva или аналог)

Обязанности:

1. Архитектурная ответственность
• Отвечать за стратегию развития и целевую архитектуру КХД, интеграционные потоки, витрины, принципы моделирования и эксплуатационную устойчивость решения.
• Принимать и обосновывать архитектурные решения, управлять техническими рисками.
• Обеспечивать согласованность решений аналитиков, инженеров данных, ETL-разработчиков и BI-специалистов.
• Руководить инициативами по улучшению решений управления данными: качество данных, дата-каталог, стандарты моделирования, эксплуатационные регламенты.
• Преобразовывать сложные бизнес-задачи в устойчивые технические решения, которые одновременно поддерживают текущие цели бизнеса и развитие платформы данных.

2. Моделирование и управление данными
• Проектировать логические и физические модели данных, владеть Data Vault 2.0, подходами к построению банковских КХД и витрин.
• Определять архитектурные паттерны загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа.
• Формировать принципы качества данных, управления данными, SLA/SLO по загрузкам и отчетности.
• Контролировать полноту и отслеживаемость данных на всех этапах.
• Обеспечивать соответствие архитектуры требованиям финансового сектора, регуляторной отчетности, аудита, безопасности и разграничения доступа.
• Задавать подходы к дата-каталогу, описанию происхождения данных, владельцам данных, критичности наборов данных и правилам использования данных.

3. Платформа и технологии
• Глубоко понимать архитектуру Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных.
• Проектировать применение Apache Spark, Airflow, Java/Python, Liquibase, CI/CD и мониторинга в промышленном ландшафте данных.
• Определять стандарты разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов.
• Оценивать применимость машинного обучения и продвинутых методов обработки данных для задач качества, классификации, обогащения или анализа данных.
• Проектировать интеграции с банковскими системами-источниками: АБС, БКИ, скоринговые системы, мобильное приложение, веб- и продуктовая аналитика, внешние данные.

4. Лидерство и взаимодействие
• Вести архитектурные обсуждения с заказчиком, ИТ-командами, безопасностью и эксплуатацией.
• Переводить бизнес-цели в реализуемую архитектуру данных.
• Проводить ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации.
• Наставлять команду, формировать лучшие практики и обеспечивать развитие КХД с учетом масштабируемости, надежности, стоимости владения для банка и будущих изменений.
• Выстраивать доверительное взаимодействие с заказчиком, информационной безопасностью, эксплуатацией и смежными ИТ-командами для согласования потребностей, ограничений и технических трендов.

Требования:

• Опыт проектирования, развития или технического лидерства в КХД банка не менее 6 лет, включая не менее 4 лет в роли архитектора или технического лидера.
• Опыт модернизации DWH, миграции данных или масштабирования хранилища при быстром росте объемов банковских данных и количества потребителей данных.
• Опыт управления техническими рисками и обеспечения согласованности решений разных команд (аналитики, инженеры данных, ETL, BI).
• Опыт руководства инициативами по улучшению управления данными: качество данных, дата-каталог, стандарты моделирования.
• Глубокое понимание архитектуры Greenplum: распределение, партиционирование, планы выполнения, оптимизация хранения и обработки больших объемов данных.
• Экспертное владение Data Vault 2.0: проектирование логических и физических моделей, подходы к построению банковских КХД и витрин.
• Определение архитектурных паттернов загрузки, инкрементальности, CDC, дедупликации, историчности, отслеживаемости и разграничения доступа.
• Обеспечение соответствия архитектуры требованиям финансового сектора, регуляторной отчетности, аудита, безопасности.
• Проектирование применения Apache Spark, Airflow, Java/Python, Liquibase, CI/CD и мониторинга в промышленном ландшафте данных.
• Определение стандартов разработки, версионирования, развертывания, наблюдаемости и восстановления пайплайнов.
• Проектирование интеграций с банковскими системами-источниками: АБС, БКИ, скоринговые системы, мобильное приложение, веб- и продуктовая аналитика, внешние данные.
• Оценка применимости машинного обучения и продвинутых методов обработки данных.
• Ведение архитектурных обсуждений с заказчиком, ИТ-командами, безопасностью и эксплуатацией.
• Перевод бизнес-целей в реализуемую архитектуру данных.
• Проведение ревью проектных решений, моделей, ETL/ELT-процессов, BI-витрин и технической документации.
• Наставничество команды, формирование лучших практик.
• Ответственность за корректность результатов.
• Умение занимать лидерскую позицию и вести других за собой. Навыки администрирования и мотивации.
• Ведение коммуникации на уровне бизнес-целей, архитектурных решений, приоритетов и рисков.
• Фасилитация сложных кросс-функциональных обсуждений с бизнесом, ИТ, ИБ, эксплуатацией и подрядчиками.
• Формирование единых правил взаимодействия, стандартов коммуникации и процесса принятия технических решений.
• Участие в найме, оценке кандидатов, развитии команды и разрешении конфликтных ситуаций.