Data Engineer (Senior)

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7

Монитор Мэра
Цель проекта – агрегация данных из разных источников с применением игровых механик для снабжения мэрии оперативными достоверными данными, на основе которых будут приниматься важные решения по развитию города. В рамках приложения предусматривается как проектирование решений для контроля деятельности органов исполнительной власти, так и отображение событий, происходящих в городе. Используются последние веяния в части ML, цифровых ассистентов и МЕТА (цифрового двойника Москвы с различными аналитическими слоями).

• проектирование, разработка и поддержка решений для хранения и обработки больших данных
• построение ETL-процессов поставки данных из внутренних и внешних источников
• сопровождение, поддержка и оптимизация разработанных пайплайнов
• разработка логики для витрин данных, внедрение модели на больших данных
• создание и развитие процессов управления данными и их качеством

• продвинутые знания SQL: умение разбираться в сложных запросах, знать как их анализировать и оптимизировать
• опыт работы с базами данных PostgreSQL, Greenplum, Clickhouse, Hive
• опыт работы с Airflow и NiFi
• опыт разработки в экосистеме Hadoop
• знания фреймворка Spark, опыт оптимизации запросов
• знание и опыт разработки на Python.
• навыки разработки технической документации
• навыки работы с пространственными данными
• знание систем координат

Что предлагаем:

• рыночную зарплату и премии
• драйвовые задачи и ресурсы для их реализации
• гибридный\удаленный режим работы
• преимущества аккредитованной IT-компании
• материальную помощь в случае важных событий в жизни
• корпоративное обучение и доступ к онлайн-библиотеке
• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
• комьюнити по интересам
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!