Data engineer

Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!

Обязанности:

• Анализ требований, входящих потоков данных

• Разработка модели данных дашборда

• Разработка ETL и data pipeline

• Проектирование и реализация схем загрузки и трансформации данных (ETL), потоков данных (data pipeline)

• Настройка потоков в Apache NiFI, AirFlow

• Написание скриптов трансформации (например, в Python)

• Настройка цепочки SQL-запросов и подготовки витрин данных для BI - агрегация и расчеты аналитических показателей

• Тестирование запросов и витрин данных   

Требования:

• SQL на профессиональном уровне, включая оптимизацию запросов
• Опыт интеграции систем, загрузки и трансформации данных (ETL)
• Опыт работы с качеством данных (очистка данных, процедуры Data Quality)
• Знание принципов работы BI-систем, построения аналитических панелей
• Профессиональный пользователь Excel (сводные таблицы, формулы, ВПР Базовые знания) принципов построения системной архитектуры, архитектуры данных, работы с базами данных
• Опыт настройки взаимодействия систем (REST API, ODBC/JDBC)
• Желателен опыт работы с любым BI - Qlik, Tableau, Power BI, NiFi и/или Airflow/DBT, навыки работы с Python, Опыт работы с инструментами очистки данных (data wrangling) -Trifacta и пр., опыт подготовки и очистки данных с помощью Excel или специализированных инструментов        

Условия:

• Работа в динамично развивающейся организации Правительства Москвы
• Гибкий рабочий день (5/2), гибридный формат работы

• Скидки на спорт и мед. обслуживание

• Высокопрофессиональная команда, возможность развития и карьерного роста

• Рост и развитие профессиональных компетенций: участие в конференциях, стратегич. сессиях, обучение
• Возможность реализовать себя в значимых городских проектах