Data Engineer

Описание вакансии

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7

Продукт Контрольно-надзорная деятельность осуществляет проект по автоматизации процессов Государственной инспекции по контролю за использованием объектов недвижимости Москвы, Главконтроля и еще 8 органов исполнительной власти города Москвы в рамках реализации реформы контрольной и надзорной деятельности в городе Москве.

Что нужно делать:

разрабатывать и поддерживать ETL-процессы
оптимизировать существующие ETL-процессы для повышения производительности и надежности
работать с инструментами ETL: Pentaho Data Integration, Apache NiFi, Talend
использовать библиотеки Pandas и NumPy для обработки и анализа данных
применять PySpark для работы с большими объемами данных и распределенными вычислениями
проектировать структуры баз данных для эффективного хранения и обработки данных
Оптимизировать запросы и производительность баз данных (PostgreSQL, ClickHouse)

Какие знания и навыки нам важны:

опыт построения и развертывания моделей машинного обучения в продакшн-средах, и их интеграция в общую архитектуру системы
опыт использования библиотек Python для обработки данных, таких как Pandas, NumPy, Dask, PySpark
знание и опыт работы с инструментами ETL, такими как Pentaho Data Integration (Pentaho DI), Apache NiFi, Talend и другие
знание и опыт работы с платформами для автоматизации рабочих процессов, такими как Apache Airflow
умение проектировать, настраивать и поддерживать автоматизированные процессы

Что предлагаем:
рыночную зарплату и премии
драйвовые задачи и ресурсы для их реализации
преимущества аккредитованной IT-компании
офисный формат работы, м. Курская, БЦ АРМА
материальную помощь в случае важных событий в жизни
корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
комьюнити по интересам
скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!