Data Engineer (Microsoft Services)

Что нужно делать:

- Участие в проектировании и развитии корпоративного хранилища данных на базе Microsoft Azure.
- Разработка и поддержка ETL/ELT-процессов для загрузки, трансформации и интеграции данных из различных источников.
- Построение архитектуры хранения данных с использованием подходов Data Lake / Lakehouse.
- Проектирование потоков обработки данных в многослойной архитектуре хранения данных.
- Работа с большими объёмами структурированных и полуструктурированных данных (JSON, API, event data).
- Построение и оптимизация витрин данных для аналитики и BI.
- Разработка решений по историзации данных (SCD, versioning, delta processing).
- Участие в проектировании архитектурных решений с нуля для новых data-проектов.
- Интеграция данных из облачных сервисов, API, Active Directory, Microsoft Graph и других корпоративных систем.
- Разработка и оптимизация SQL-запросов, процедур и пайплайнов.
- Обеспечение качества, консистентности и производительности данных.
- Участие в построении monitoring/logging решений для data pipelines.
- Взаимодействие с аналитиками, архитекторами и бизнес-командами.

Мы ожидаем от кандидата:
- Уверенное знание SQL и опыт оптимизации сложных запросов.
- Опыт работы с Microsoft Azure:
* Microsoft Azure
* Azure Data Factory
* Azure SQL Database
* Azure Data Lake Storage
* Azure Key Vault
- Опыт работы с Databricks.
- Понимание архитектур:
* Data Lake
* Lakehouse
* классическое DWH
- Опыт построения многослойной архитектуры хранения данных.
- Опыт работы с:
* staging layer
* operational/online layer
* DDS / data marts
- Опыт работы с JSON-данными и API-интеграциями.
- Понимание принципов нормализации и моделирования данных.
- Опыт построения исторических таблиц и инкрементальных загрузок.
- Понимание delta loading / watermark logic / CDC подходов.
- Опыт разработки data pipelines и orchestration-процессов.
- Опыт работы с Power BI или другими BI-инструментами будет плюсом.
- Владение Python или PowerShell для автоматизации обработки данных.

Будет плюсом:
- Опыт работы с Delta Lake.
- Опыт проектирования Lakehouse-архитектуры с нуля.
- Понимание Medallion Architecture (Bronze / Silver / Gold).
- Опыт работы с cloud-native решениями.
- Опыт интеграции Microsoft Graph API / Defender / Active Directory.
- Опыт работы с большими объёмами telemetry/event данных.
- Понимание принципов Data Governance и Data Quality.
- Опыт работы с CI/CD для data pipelines.

Что мы предлагаем:

- Профессиональный коллектив;

- Возможность работать над проектами, приносящими пользу для тысяч людей;

- Неограниченный рост;

- Скидки на фитнес, обучение английскому языку, подарки на праздники и дни рождения;

- Бонусы и уникальные предложения от компаний холдинга;

- Спонсирование профессионального обучения;

- Насыщенная корпоративная жизнь с выездами на природу, праздничными мероприятиями в офисе, играми и розыгрышами подарков.