Data Engineer

Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!

Обязанности:

• Исследование источников данных: анализ назначения и структуры таблиц и полей, ключей, связей, кардинальности и гранулярности; документирование моделей и схем данных

• Оценка потребностей в получении, обработке и хранении данных; выбор и обоснование архитектурных и технологических решений с преимущественным использованием open-source программного обеспечения

• Организация получения структурированных и неструктурированных данных из баз данных, API, файлов и иных разрешённых источников; разработка SQL-запросов и механизмов извлечения с учётом прав доступа, ограничений систем-источников и требований информационной безопасности

• Проектирование, разработка и сопровождение процессов интеграции и преобразования данных (ETL/ELT), включая очистку, нормализацию, объединение, обновление и автоматизацию обработки

• Создание и развитие аналитических моделей, наборов данных, хранилищ и витрин по мере возникновения обоснованной потребности; организация хранения, версионирования и, при необходимости, историзации данных

• Обеспечение качества данных (Data Quality): профилирование, проверки полноты, корректности, согласованности и уникальности, предотвращение дублирования, автоматизация проверок и контроль результатов загрузки

• Настройка расписания выполнения, журналирования, мониторинга и диагностики процессов обработки данных; участие в обеспечении их надёжности и восстановлении работоспособности во взаимодействии с ответственными за инфраструктуру

• Ведение технической документации, словаря и каталога данных, описаний происхождения и преобразования данных (Data Lineage); применение контроля версий и принципов воспроизводимой разработки

• Совместная работа с аналитиком данных и заинтересованными подразделениями: согласование требований к данным и витринам, устранение технических проблем, развитие аналитических решений

• Опыт работы от 3 -х лет в инженерии данных и/или аналитической инженерии. Опыт самостоятельного проектирования, разработки и сопровождения процессов интеграции данных и аналитических моделей. Преимущество — участие в создании аналитических решений с нуля при ограниченных инфраструктурных ресурсах
• Высшее образование, предпочтительно высшее техническое, информационно-технологическое, математическое или иное профильное образование

• SQL — продвинутый/экспертный уровень (сложные запросы, JOIN, CTE, оконные функции, анализ планов и оптимизация выполнения).
  Python — уверенный уровень (обработка данных, API, автоматизация и разработка скриптов)

• Пятидневная рабочая неделя, гибридный формат работы

• Чистый, современный, просторный офис со всей необходимой для работы орг. техникой. Находится в пешей доступности (ст. метро Арбатская)

• Значимая роль в команде экспертов, в которой коллеги всегда
  поддерживают друг друга

• Развивающие задачи и карьерные вызовы, реальные возможности для роста

• Развитая корпоративная культура: постоянные корпроративные обучения, мероприятия, онбординг