Архитектор данных (команда АС ЦАРС)

АС ЦАРС — это централизованный архивный сервис, масштабный продукт, который охватывает всю Россию. У нас хранятся все документы всех отделений банка: электронные, физические и не только. Мы знаем, когда, где, во сколько и через чьи руки проходил документ по пути от отделения в хранилище и из хранилища в утилизацию. В хранилищах трудятся 1000 человек и сотни роботов, да, мы используем полностью автоматизированные хранилища с разреженным воздухом. Наш продукт упрощает жизнь сотрудникам банка и внешним контрагентам, предоставляет возможность найти и получить скан документа или заказать оригинал с доставкой. Продукт является облачным решением в контейнерной среде, построен в микросервисной архитектуре и активно развивается. Вся наша разработка разбита на множество кросс-функциональных команд, в каждой из которых есть представители разных функций — аналитики, разработчики, специалисты по качеству, продуктовые менеджеры. Команда формируется вокруг определённой части сервиса, а её состав определяется направлением деятельности.

Обязанности

• развитие и сопровождение СУБД: оптимизация конфигурации, мониторинг нагрузки, планирование ёмкости (Capacity Planning) и устранение инфраструктурных узких мест
• архитектурное проектирование данных: дизайн схем для новых микросервисов, выбор стратегий шардирования и партиционирования, ревью архитектурных решений аналитиков на соответствие реляционной модели.
• построение потоков данных и аналитики: настройка логической репликации и CDC между кластерами, развитие Greenplum (distribution keys, ресурсные очереди), управление ETL-процессами в экосистеме Hadoop (HDFS/Hive/Oozie/YARN)
• оптимизация производительности SQL: рефакторинг сложных запросов, анализ планов выполнения, разработка хранимых процедур (PL/pgSQL) и проведение массовых трансформаций больших объёмов данных.
• управление жизненным циклом данных: миграция данных между версиями СУБД или движками без даунтайма, вывод из эксплуатации устаревающих компонентов, обеспечение отказоустойчивости и резервного копирования
• экспертная поддержка разработки: активное участие в код-ревью SQL-запросов разработчиков, консультирование по выбору индексов и типов данных, помощь 2–3 линиям поддержки в расследовании инцидентов (блокировки, ожидания)
• мониторинг и автоматизация процессов: внедрение мониторинга метрик БД (Prometheus/Grafana/Zabbix), написание скриптов автоматизации (Bash/Python), интеграция миграций схемы данных (Flyway/Liquibase) в CI/CD пайплайны контейнерной среды (Kubernetes)
• создание стандартов работы с данными: разработка архитектурных шаблонов и паттернов доступа к данным, определение корпоративных стандартов именования, индексирования и версионирования баз
• стратегическое планирование архитектуры: формирование целевой архитектуры хранения данных продукта (монолит vs микросервисы), оценка трудозатрат и создание технического видения развития системы на горизонте 1–3 лет
• менторство и кросс-функциональное взаимодействие: обучение разработчиков и младших специалистов работе с СУБД, согласование требований к инфраструктуре со смежными архитекторами для обеспечения целостности потоков данных.

Требования

• опыт работы с СУБД PostgreSQL, Greenplum (и аналогичными) — от 5 лет. Общий опыт работы с СУБД — не менее 7 лет
• опыт работы с экосистемой Hadoop: Hive, HBase, HDFS, конфигурирование Oozie, YARN
• опыт развертывания и настройки экземпляров СУБД исходя из специфики нагрузки и рабочих процессов, которые будет обслуживать база данных
• глубокое понимание устройства реляционных баз данных, понимание реляционной модели данных и того, как эта теория отражается в реализациях реляционных СУБД
• опыт работы с оптимизацией запросов
• понимание типов блокировок в СУБД (уровни изоляции, взаимоблокировки, явные и неявные блокировки) и умение диагностировать проблемы с конкуренцией
• владение принципами физической и логической репликации и CDC (Change Data Capture): pglogical, Debezium, Kafka или аналогичные механизмы
• опыт разработки хранимых процедур, функций и триггеров на PL/pgSQL или аналогичных процедурных языках СУБД
• опыт промышленной обработки больших объёмов данных: массовые исправления, перенос и трансформация таблиц, построение ETL-процессов
• навыки написания сложных SQL-запросов с использованием оконных функций, CTE, рекурсивных запросов

Будет плюсом:

• опыт написания скриптов на Bash/Python для автоматизации процессов обслуживания, резервного копирования, мониторинга и восстановления
• опыт работы в кросс-функциональных командах и участие в полном цикле разработки
• знание и понимание языков программирования (Java, Python, Rust и т.п.)
• опыт работы в контейнерных средах (Kubernetes, OpenShift) и понимание особенностей работы СУБД в таких средах
• опыт настройки мониторинга СУБД (Prometheus + экспортеры, Zabbix, Grafana) и построения алертинга
• навыки работы с генеративными AI-моделям

Условия

• комфортный современный офис в Москве, ш Варшавское (Бизнес-центр Чайка Плаза), 25Астр6
• график работы – офис на период испытательного срока, далее возможен гибрид
• ежегодный пересмотр зарплаты, квартальная и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте (для Junior позиций)
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера