Data Engineer/разработчик oracle DWH
Data Engineer/разработчик oracle DWH
Москва, 1-й Красногвардейский проезд, 22с1
Метро: Деловой центрОписание вакансии
Обязанности:
- Разработка и оптимизация ETL-процессов для загрузки данных в КХД (Oracle) из различных источников (включая системы ЦФТ, МСБ-резерв).
- Сборка и автоматизация отчетных форм (например, 303-я форма для ЦБ) по макетам в формате ODS, DDS и Datamart, с использованием новой структуры данных.
- Миграция процедур с legacy-источников (например, МСБ-резерв) на КХД, включая анализ, маппинг атрибутов и обеспечение 100% заполняемости данных.
- Создание и поддержка прототипов скриптов (SQL, PL/SQL), технических заданий с описанием структуры объектов, алгоритмов загрузки и маппинга.
- Оптимизация запросов и хранилища: анализ планов выполнения (EXPLAIN PLAN), настройка индексов (B-tree, hash), партиционирования (range, list), join-алгоритмов (nested loop, merge, hash).
- Обеспечение историчности данных (SCD-2, версионные таблицы, date_from/date_to) и проверок качества (более 500 проверок).
- Участие в тестировании (сверка с legacy-отчетностью), согласовании с бизнесом и передаче в релизную команду.
- Координация с рабочей группой (аналитики, разработчики, бизнес-заказчики) в Jira/Confluence; декомпозиция задач и управление подзадачами.
- Анализ и доработка бизнес-требований, помощь в их формализации для реализации в хранилище.
- Высшее образование в IT/математике или смежной области.
- Опыт работы с Oracle (версия 19c или аналогичная) не менее 3 лет: разработка хранилищ данных (DWH), SQL/PL/SQL, создание пакетов процедур.
- Глубокое знание слоев хранилища: ODS, DDS (детализированный слой с нормализацией 3NF), Datamart.
- Опыт с моделями данных: Star Schema (Звездочка) и Snowflake Schema (Снежинка); понимание нормализации/денормализации, ее плюсов/минусов (избежание аномалий vs. сложность запросов).
- Навыки ETL: Informatica PowerCenter (workflow, designer), Airflow (DAG для оркестрации); знание принципов ETL.
- Опыт исторической загрузки: SCD-2 (Slowly Changing Dimensions type 2) с полями, версионными таблицами, триггерами.
- Оптимизация производительности: анализ планов запросов (предполагаемый vs. реальный), индексы, партиционирование, типы join на физическом уровне.
- Работа с большими объемами данных (50+ ТБ в Oracle, миллиарды записей); опыт миграций (Oracle → Greenplum/PostgreSQL).
- Знание Jira для трекинга задач, Confluence для документации; опыт декомпозиции сложных задач (например, сбор формы отчетности на этапы).
- Навыки системного анализа: чтение/разбор legacy-процедур, маппинг атрибутов, инвентаризация объектов.
- Желательно: опыт с финансовой отчетностью (ЦБ РФ), проверками качества данных, миграцией из legacy-систем; базовые знания Greenplum.
- Полный рабочий день, удаленная работа по московскому времени.
- Корпоративное обучение
- Команда: 6–7 человек (аналитики + разработчики), менторство от Team Lead, рабочая группа с бизнесом.
- Возможность роста
Навыки
- ORACLE
- SQL
- ETL
- Apache Airflow
- PostgreSQL