Data Engineer

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

ОМС — новый проект по импортозамещению АИС ОМС, информационной системы для автоматизации процессов, связанных с обязательным медицинским страхованием, такими как персонифицированный учет медицинской помощи и информационное обеспечение деятельности участников системы ОМС. Она обеспечивает сбор, хранение и обработку данных о медицинских услугах и страховых случаях.

Обязанности:

• Проектировать и развивать архитектуру потоков обработки и хранения данных.

• Разрабатывать и сопровождать ETL/ELT-пайплайны и интеграции с источниками данных.
• Реализовывать dbt-модели, SQL-трансформации и объекты данных в ClickHouse.
• Разрабатывать и поддерживать Airflow DAGs и механизмы оркестрации.
• Организовывать хранение и обработку данных с использованием S3.
• Обеспечивать надежность, производительность и масштабируемость data-процессов.
• Реализовывать механизмы контроля качества данных, мониторинга и обработки ошибок.
• Оптимизировать SQL-запросы, модели хранения и процессы обработки больших объемов данных.
• Участвовать в проектировании и развитии DWH и аналитических витрин совместно с аналитиками.
• Интегрировать новые источники данных и обеспечивать их стабильную загрузку.
• Документировать технические решения и участвовать в развитии инженерных стандартов команды.
• Взаимодействовать с аналитиками, разработчиками и Заказчиками при проектировании и реализации решений.

​​​​​​​​​​​​​​Опыт работы от 3 лет в Data Engineering, разработке DWH или смежных инженерных направлениях.
• Уверенное владение SQL: CTE, оконные и агрегатные функции, подзапросы; оптимизация запросов и работа с большими объемами данных.
• Уверенное владение Python для разработки ETL/ELT-процессов, интеграций и автоматизации обработки данных.
• Опыт проектирования и разработки ETL/ELT-пайплайнов и потоков обработки данных.
• Глубокое понимание принципов построения DWH, Data Mart и моделей данных.
• Практический опыт разработки dbt-моделей, SQL-трансформаций и управления зависимостями между объектами данных.
• Уверенная работа с ClickHouse: проектирование таблиц, выбор схем хранения, оптимизация запросов и производительности.
• Опыт работы с системами оркестрации, преимущественно Airflow.
• Опыт работы с S3 и объектным хранением данных.
• Понимание принципов интеграции данных и работы с форматами JSON, XML, CSV.
• Опыт построения и сопровождения процессов загрузки данных из различных источников.
• Понимание принципов Data Quality, контроля целостности, полноты и актуальности данных.
• Опыт работы с Git.
• Навыки декомпозиции технических требований и проектирования решений совместно с аналитиками, разработчиками и Заказчиками.

Будет преимуществом:
• Опыт проектирования и развития корпоративных хранилищ данных.
• Опыт работы с другими аналитическими СУБД и DWH-платформами.
• Опыт построения потоковых решений и систем потоковой передачи данных.
• Опыт настройки мониторинга и алертинга data-пайплайнов.
• Навыки оптимизации инфраструктурных и вычислительных затрат.
• Профильное высшее образование.
Личностные качества
• Системное и инженерное мышление.
• Ответственность за надежность и результат работы data-платформы.
• Ориентация на качество, производительность и поддерживаемость решений.
• Умение самостоятельно принимать технические решения.
• Способность быстро погружаться в новые технологии, источники и предметные области.
• Умение работать в команде и эффективно взаимодействовать со смежными специалистами.

Что мы предлагаем:

- Рыночную зарплату и премии;

- График работы 5/2;

- Интересные задачи и ресурсы для их реализации;

- Преимущества аккредитованной IT-компании;

- Материальную помощь в случае важных событий в жизни;

- Корпоративное обучение и доступ к онлайн-библиотеке;

- Корпоративные тренировки и спортивные активности: бег, футбол, волейбол, баскетбол, теннис и другие;

- Комьюнити по интересам;

- Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!