Data Engineer

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Продукт Электронный чиновник - разрабатывает, внедряет и поддерживает общегородские информационные системы, обеспечивающие внутреннее взаимодействие работников органов власти и подведомственных организаций. Благодаря нашим системам у аудитории появляется коммуникационная среда, в которой можно контролировать авторство, сроки и связи между принимаемыми решениями.

Что нужно делать:

- разрабатывать и сопровождать ETL-процессы с проверками качества
- проектировать, поддерживать и развивать DWH для эффективного хранения данных
- мониторинг и поддержание работоспособности дата-пайплайнов
- создавать решения для автоматизации доставки данных продуктовым аналитикам
- проектировать логические структуры данных для обеспечения удобного и надежного доступа к информации

Какие знания и навыки нам важны:

- опыт работы Инженером данных от 2 лет
- реализация средних и крупных проектов по пакетной обработке данных
- владение Apache Airflow (создание DAG, настройка пайплайнов) или аналогичные(NIFI)
- знание Python на среднем или продвинутом уровне
- опыт работы с PostgreSQL: умение писать сложные запросы, оптимизировать скорость выполнения запросов
- опыт работы с ClickHouse: хорошее знание табличных движков, sql-диалекта
Понимание CI/CD, Docker

Что предлагаем:​​​​​​​

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!