Data Engineer (Дата инженер)

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Находимся в поисках Инженера данных (data engineer) для главного Портала Москвы - Mos.ru, на котором есть городские новости, афиша, информация о проектах и решениях правительства и каталог электронных услуг. Ежемесячно mos.ru посещают 20 млн уникальных пользователей̆. На портале в электронном виде работает более 450 услуг и сервисов в таких сферах, как ЖКХ, образование, здравоохранение, социальная поддержка, транспорт и других. Каждый̆ день около 2 млн раз жители заходят на портал, чтобы подать показания счетчиков, оплатить счета за квартиру, проверить дневник ребенка, почитать новости города или найти бесплатные культурные мероприятия.

Что нужно делать:

• извлекать, преобразовывать и хранить данные из множества источников
• подготавливать данные для моделей машинного обучения, в т.ч. GenAI направления
• осуществлять сбор, хранение и обработка метаданных о работе ML решений
• заниматься построением витрин, пайплайнов, ETL, прочих дата-артефактов и дата-процессинговых компонентов
• обеспечивать качество данных: валидации, контроль целостности.

Какие знания и навыки нам важны:

• опыт настройки и администрирования СУБД ClickHouse и PostgreSQL (опыт с СУБД Oracle или MySQL), векторных БД (ChromaDB, Hive, Milvus)
• глубокое знание принципов организации логической структуры таблиц и ETL процессов, в высоконагруженных онлайн системах
• продвинутое знание Python, SQL
• опыт работы с данными ML, их валидация и результатами работы моделей
• опыт работы с Airflow, Gitlab, Docker, Kafka

Что предлагаем:

• рыночную зарплату и премии
• драйвовые задачи и ресурсы для их реализации
• гибридный или удаленный режим работы
• преимущества аккредитованной IT-компании
• материальную помощь в случае важных событий в жизни
• корпоративное обучение и доступ к онлайн-библиотеке
• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
• комьюнити по интересам
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!