Системный аналитик КХД

Чем предстоит заниматься

• Сбор и анализ требований: проведение интервью с бизнес-пользователями (ключевыми заказчиками, методологами, аналитиками) для выявления их потребностей в данных и отчетности. Первичная оценка трудозатрат. Консультирование по возможностям хранилища данных и помощь в выборе инструмента реализации потребностей
• Проектирование интеграционных взаимодействий Анализ того, как именно данные попадают в DWH: исследование источников и согласование с их владельцами способов выгрузки, описание периодичности загрузки, обработки изменений, разработка Source-to-Target маппинга
• Проектирование моделей данных: разработка и поддержка концептуальных, логических и физических моделей данных. Проектирование сквозных процессов обработки данных (ETL/ELT): от извлечения из источников до загрузки в витрины для BI-отчетности
• Валидация и тестирование: написание SQL-прототипов для проверки гипотез, выявление проблем с данными на этапе анализа (несогласованность, дублирование, ошибки), инициирование мероприятий по их очистке и стандартизации. Участие в приемо-сдаточных испытаниях, проверка корректности данных в готовых витринах и отчетах, анализ причин возникновения расхождений в данных
• Тесное взаимодействие с командами: постановка задач ETL-разработчикам/BI-разработчиками/дата-инженерам, согласование результатов анализа с архитекторами данных для контроля реализации и качества анализа

Что для этого нужно

• Высшее образование в области информационных технологий или телекоммуникаций
• Опыт работы системным или бизнес-аналитиком в области DWH/ETL/BI от 3-х лет
• Аналитический склад ума, умение ясно и структурно формулировать свои мысли устно и в виде документов
• Глубокое понимание принципов построения хранилищ данных (слои, подходы Кимбалла/Инмана, 3NF, Data Vault, «звезда»/«снежинка») и их отличий от операционных систем (OLTP)
• Опыт проектирования и описания сложных ETL/ELT процессов и описания бизнес-логики преобразования данных
• Продвинутый SQL: свободное владение для анализа данных и проектирования (оконные функции, CTE, оптимизация запросов)
• Понимание особенностей работы основных компонентов платформ Oracle Exadata и Greenplum, понимание основных принципов подходов к разработке ETL для этих СУБД
• Понимание принципов проектирования и оптимизации интеграционных решений: знание протоколов и форматов обмена данными
• Понимание принципов работы инструментов BI-визуализации (SAP BO, Tableau, Power BI или Qlik Sense) на уровне построения запросов и понимания различий принципов их работы
• Базовое понимание архитектуры Hadoop, опыт использования hive, sqoop, impala, trino
• Умение принимать архитектурные решения, аргументировать свой выбор и нести за него ответственность
• Умение четко доносить идеи и сложные концепции как до технических специалистов, так и до бизнес-пользователей
• Умение работать с большими объемами информации, выявлять взаимосвязи и структурировать их
• Понимание принципов работы и особенности использования ClickHouse в архитектуре хранилища данных
• Понимание принципов Data Governance, управления метаданными и обеспечения качества данных (Data Quality)
• Опыт создания технической документации для разработчиков и бизнес-пользователей