DWH аналитик

Суть проекта: предметная область - инвестиционный анализ (акции, облигации, индексы, рынки и компании). Компания разрабатывает новый и без преувеличения инновационный цифровой продукт для российского рынка, который предоставляет инструменты анализа ценных бумаг и финансовых показателей публичных компаний, с целью принятия взвешенных инвестиционных решений для профессиональных участников рынка.

ЗАДАЧИ:

• Предстоит переход с легаси на MSSQL
• Подключение новых источников - новое хранилище, в зависимости от слоев и бизнес потребителей будет реализовано на S3 + Clickhouse и Postgres
• Внешние источники - Rest запросы или файлы на файловых хранилищах. Сейчас порядка 10 источников, планируется подключение большего количества
• Mongo - целевое для хранения документов бэка для вэб приложения, оттуда будут забираться отчеты и складываться в хранилище

НАМ ВАЖНО:

• Опыт работы с данными от 3 лет
• Глубокое понимание реляционных баз данных: структура данных, методы загрузки и управления
• Навыки разработки и оптимизации сложных SQL-запросов, включая использование оконных функций, CTE и маппингов между БД
• Умение проектировать и создавать модели данных, ориентированные на аналитические задачи и эффективное функционирование DWH
• Знание принципов нормализации и денормализации, типов схем (звезда, снежинка) и их правильное применение
• Способность строить стабильные и масштабируемые модели данных с учётом особенностей источников и целевых систем
• Владение методологиями Data Vault и другими современными подходами для обеспечения прозрачности, истории изменений и восстановления данных
• Опыт в документировании моделей и обеспечении их совместимости с процессами ETL/ELT и бизнес-метриками
• Способность управлять изменениями моделей при росте объёмов данных и корректировках аналитических требований
• Практический опыт работы со следующими технологиями: Python, объектное хранилище S3, стриминг данных Kafka, реляционные СУБД: Postgres, MSSQL (обязательно одно из 2, лучше оба), NoSQL: MongoDB (желательно), аналитическая СУБД Clickhouse
• Навыки создания и поддержки ETL/ELT конвейеров
• Умение разрабатывать модели данных и трансформации с помощью dbt, знание SQL и шаблонизации в dbt;
• Опыт оркестрации процессов средствами Apache Airflow, настройка DAG, автоматизация и мониторинг ETL задач;
• Понимание методологии и практик DataOps для версионирования моделей, тестирования, мониторинга и безопасного разворачивания

МЫ ПРЕДЛАГАЕМ:

• Удаленную работу без ограничения локации
• Заключение договора ГПХ, сдельная основа
• Full-time занятость
• Проекты в финансовой, промышленной и других сферах

ВАЖНО! ОПЛАТА ЗА ФАКТИЧЕСКИ ОТРАБОТАННОЕ ВРЕМЯ НА ПРОЕКТЕ, ВЫПЛАТА ОСУЩЕСТВЛЯЕТСЯ В РОССИЙСКИХ РУБЛЯХ.