Data Engineer (Al)

Мы ищем опытного специалиста для создания единой корпоративной платформы данных в рамках ИИ-трансформации компании. Задача — инвентаризировать, консолидировать и организовать управление данными для обеспечения ИИ-решений качественной информацией.

Обязанности:

Инвентаризация и аудит данных:

• Проведение комплексной инвентаризации данных компании из различных источников
• Анализ и документирование существующих источников данных, форматов и систем хранения
• Оценка качества, полноты и актуальности данных
• Выявление критических данных для ИИ-решений и бизнес-процессов
  
  Проектирование и построение хранилища данных:
• Разработка архитектуры единого корпоративного хранилища данных
• Проектирование схем данных и моделей для различных доменов (геология, проектирование, строительство, финансы)
• Создание и оптимизация ETL/ELT пайплайнов для миграции и загрузки данных
• Обеспечение масштабируемости и производительности хранилища
  
  Миграция данных:
• Планирование и выполнение миграции данных из разрозненных источников
• Разработка скриптов и процессов для трансформации и очистки данных
• Валидация корректности миграции и целостности данных
• Минимизация рисков потери данных при переносе
  
  Управление качеством данных:
• Разработка и внедрение процессов контроля качества данных
• Создание правил валидации и мониторинга качества
• Автоматизация процессов очистки и обогащения данных
  
  Управление доступом и безопасность:
• Проектирование и реализация системы управления доступом к данным
• Настройка ролевых моделей и политик безопасности
• Обеспечение соответствия требованиям по защите персональных и конфиденциальных данных
• Аудит и мониторинг доступа к данным
  
  Data Governance:
• Участие в разработке политик и стандартов управления данными
• Создание каталога данных и метаданных
• Документирование процессов и процедур работы с данными
• Взаимодействие с владельцами данных и бизнес-подразделениями

Обязательные навыки:

• Python/SQL — уверенное владение для разработки ETL-процессов и работы с данными
• Реляционные БД: опыт работы с PostgreSQL, MySQL или MS SQL Server
• NoSQL базы данных: практический опыт работы с MongoDB, Cassandra, Redis или аналогами
• ETL/ELT инструменты: практический опыт с Apache Airflow, dbt, Pentaho или аналогами
• Системы очередей: опыт работы с Kafka, RabbitMQ или аналогами
• Хранилища данных: понимание принципов построения DWH, опыт работы с ClickHouse, Greenplum или аналогами
• Работа с большими объемами данных: опыт обработки и трансформации больших датасетов
• Версионирование: Git для управления кодом и конфигурациями
• Понимание принципов нормализации и моделирования данных
  
  Желательные навыки:
• Знание принципов Data Governance и Data Quality Management
• Знание Docker, Kubernetes для контейнеризации решений
• Знание инструментов каталогизации данных (Apache Atlas, DataHub, Amundsen)
• Понимание принципов построения Data Lake и Data Mesh
• Опыт работы с векторными БД для ИИ-решений (Qdrant, Milvus, PGVector)

Будет преимуществом:

• Опыт построения корпоративных хранилищ данных с нуля
• Сертификации по работе с БД
• Опыт работы в строительной, горнодобывающей или инжиниринговой отрасли
• Знание специфики работы с геологическими, проектными и техническими данными
• Опыт внедрения Data Governance фреймворков (DAMA-DMBOK, DCAM)
• Вклад в open-source проекты в области data engineering

• Офис находится : г. Москва, наб. Пресненская, д.10 (Москва-Сити);

• График работы: пятидневная рабочая неделя с понедельника по пятницу , выходные: суббота, воскресенье;

• Период испытательного срока: 3 месяца;

• ДМС;

• Годовой бонус;

• Профессиональное обучение и развитие;

• Возможность реализовать свой потенциал и построить карьеру.

• Конкурентоспособный уровень заработной платы.

• Участие в интересных и масштабных проектах.