Data Engineer (Middle)

Мы – команда «Газпромнефть – Цифровые решения», часть ИТ-функции «Газпром нефти». Команда, которая научила нейросети находить нефть, запустила первую в мире цифровую систему управления арктической логистикой и первой в мире заправила самолет по блокчейн. Мы переводим в «цифру» каждый этап работы современного нефтяника: от геологической разведки и бурения скважин до процесса переработки нефти и момента, когда она в виде топлива попадает в баки автомобиля, самолета или, например, становится битумом для строительства дорог. Активы «Газпром нефти» – это сотни петабайт данных, которые генерируют объекты компании в России и за рубежом. Нас вдохновляет идея развития цифрового будущего нефтегазовой отрасли и промышленности в целом.

Проект разработки корпоративного хранилища данных реализуется на стеке: MPP Greenplum, ETL платформы Informatica PowerCenter, Airflow, Apache NiFi и других инструментах. Работа в команде, выполняющей внедрение стратегии, процессов и инструментария управления корпоративными данными (Data Governance). Нам нужен разработчик.

Цель должности: Обеспечение эффективного процесса сбора, преобразования, загрузки и хранения больших объемов корпоративных данных в масштабируемое и надежное хранилище на платформе Greenplum. Проектирование и реализация robust и производительных ETL/ELT-процессов с использованием стека технологий (NiFi, Airflow, Informatica) в соответствии с методологией Data Vault 2.0 для обеспечения бизнеса и аналитиков актуальными, целостными и качественными данными, пригодными для глубокого анализа и построения отчетности.

• Разработка и поддержка процессов загрузки и трансформации данных в Greenplum.

• Проектирование и реализация моделей данных в парадигме Data Vault 2.0.

• Настройка и сопровождение интеграционных потоков в NiFi, оркестрация процессов в Airflow.

• Разработка ETL-процессов в Informatica/NiFi/Spark.

• Оптимизация SQL-запросов и ETL-процессов для повышения производительности.

• Участие в проработке архитектурных решений совместно с архитекторами.

• Обеспечение качества данных и контроль целостности информации.

• Подготовка и поддержка технической документации.

  Функциональные компетенции:

• Проектирование Хранилищ Данных:

• Практический опыт проектирования и реализации моделей данных в методологии Data Vault 2.0.

• Понимание и различие концепций Hub, Link, Satellite, их атрибутов и ключей.

• Знание принципов загрузки данных в модель Data Vault (например, использование хэшей для проверки изменений).

• Понимание архитектуры DWH (Staging, Core, Data Marts).

• Глубокое понимание SQL (сложные JOIN, оконные функции, оптимизация запросов)

• Опыт работы с Greenplum или другими MPP (Massively Parallel Processing) СУБД: понимание архитектуры, распределения данных (DISTRIBUTED BY), оптимизация производительности через анализ планов запросов (EXPLAIN ANALYZE)

• Знание принципов работы колоночных хранилищ (для Greenplum).

• Опыт разработки и поддержки процессов интеграции данных с использованием Informatica PowerCenter: создание mappings, workflows, sessions.

• Опыт работы с Apache NiFi для построения потоков данных: создание процессоров, управление очередями, мониторинг производительности.

• Понимание принципов работы Apache Airflow для оркестрации ETL-процессов: написание DAGs, использование операторов (включая custom operators для NiFi или Informatica), настройка расписаний и обработка ошибок.

• Опыт работы с большими объёмами данных и распределёнными системами.

• уверенное владение Python для написания скриптов, создания custom-операторов в Airflow и автоматизации задач.

• Знание Shell/Bash для администрирования и запуска задач на серверах.

• Навыки выявления и устранения "узких мест" (bottlenecks) в ETL-пайплайнах и запросах к БД.

• Понимание CI/CD для ETL/ELT (git, автоматизация развертывания).

• Опыт работы в области разработки хранилищ данных (Data Engineering) от 2-х лет.
• Обязательный опыт работы с хотя бы одним из ETL-инструментов: Informatica, Apache NiFi, или их аналогами (IBM DataStage, Talend, SSIS).
• Обязательный опыт работы с одним из инструментов оркестрации: Apache Airflow, Luigi, Prefect или их аналогами.
• Обязательное понимание принципов и опыт применения методологии Data Vault (желательно версии 2.0).
• Обязательный коммерческий опыт работы с MPP СУБД (Greenplum, Teradata, Vertica, ClickHouse) или облачными DWH (Amazon Redshift, Google BigQuery, Snowflake).
• Понимание концепций Data Lake, Data Warehousing, Data Mart.
• Знание основ систем контроля версий (Git).
• Приветствуется опыт работы в agile-методологиях (Scrum, Kanban).
• Приветствуется знание основ контейнеризации (Docker).
• Аналитический склад ума, внимательность к деталям и нацеленность на результат.
• Умение работать в команде и хорошие коммуникативные навыки.

Мы предлагаем:

• Достойную твоего профессионального уровня заработную плату (уровень вознаграждения обсуждается индивидуально по результатам интервью)
• Годовую премию по результатам деятельности, дополнительную материальную мотивацию (премии от руководителя)
• Трудоустройство в аккредитованную ИТ компанию
• Качественную программу ДМС со стоматологией с первого месяца работы
• Современный офис, возможность гибридного формата работы
• Неограниченный доступ к образовательному контенту на портале знаний от корпоративного университета
• Подписка на лучшие электронные библиотеки с подборками IT-литературы (и не только)
• Собственный центр профессионального развития, в котором проводятся комплексные программы обучения hard skills
• Внутренние демодни, коуч-дни, питчи – то, что поможет продвигать и совершенствовать проекты и собственные идеи
• Корпоративные скидки для изучения английского языка в малых группах онлайн и офлайн
• Регулярные карьерные марафоны, индивидуальные карьерные консультации и планы развития
• Общение вне рабочих рамок – независимо от того, в каком городе ты работаешь! От участия в корпоративных спортивных сообществах до онлайн-экскурсий и неформальных встреч в формате Random coffee

В «Газпром нефть» ты можешь:

• Получить уникальный профессиональный опыт
• Создавать смелые проекты с нуля и наблюдать за их влиянием на целую отрасль
• Быть вместе с теми, кого вдохновляют сверхсложные задачи
• Сочетать несколько ролей, быть частью нескольких команд или участвовать в кросс-функциональных командах
• Использовать возможности компании-лидера для своей самореализации и убедиться, что любой профессиональный опыт важен
• Быть среди тех, кто создает первую в России цифровую платформу для управления промышленной компанией нового поколения