Data Engineer

Описание вакансии

Срочный трудовой договор до 31.12.2029г.

Команда технологического развития корпоративного хранилища данных, которая проводит масштабную миграцию ETL-процессов с Oracle Data Integrator (ODI) на Apache Airflow

Стек: Apache Airflow, Python, SQL, Hadoop, Spark (PySpark), Kafka, Oracle, GreenPlum/PostgreSQL, Clickhouse, Trino, Superset, Prometheus, Grafana, Git, Docker, Jira, Confluence

Чем предстоит заниматься

  • Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику. Реверс-инжиниринг ODI сценариев
  • Проектировать и реализовывать миграцию. Переводить ETL-логику из ODI в DAG`и Apache AirFlow
  • Разрабатывать ETL/ELT-пайплайны
  • Обеспечивать качество данных (DQ-проверки), настраивать алерты, дашборды мониторинга
  • Управлять артефактами, CI/CD. Настраивать пайплайны деплоя DAG-ов, версионирование кода (Git), листинг, тестирование (unit/integration), управлять зависимостями (включая whl-пакеты для PySpark-компонентов)
  • Документировать и передавать знания

Что для этого нужно

  • Образование – высшее техническое, математическое или экономическое
  • Опыт работы от 3 лет в роли дата-инженера
  • Практический опыт миграции или глубокой поддержки ETL-решений (ODI, Informatica, SSIS и т.п.) – понимание структуры пакетов, переменных, маппингов, планировщиков
  • Уверенные знания и опыт практического применения: Python для написания DAG-ов и кастомной логики; SQL – сложные запросы, оптимизация кода; PySpark для пакетной обработки данных; Git, базовые навыки CI/CD, понимание версионирования и тестирования кода
  • Опыт с Apache Airflow – архитектура, DAG-дизайн, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные/конфиги
  • Работа с контейнеризацией (Docker) и деплоем DAG-ов в контейнерной среде
  • Навыки формирования Python-пакетов для переносимости Spark-логики
  • Знание dbt, инструментов моделирования данных и подходов к слоям DWH
  • Опыт настройки мониторинга (Prometheus/Grafana, AirFlow UI)

Трудоустройство в аккредитованную ИТ-компанию ООО «МегаТех»

Навыки
  • Python
  • PySpark
  • Airflow
  • SQL
Посмотреть контакты работодателя

Похожие вакансии

evrone.ru

Data Engineer

evrone.ru

  • Москва

  • до 250000 RUR

Рекомендуем
585, Холдинг
  • Москва

  • до 250000 RUR

Рекомендуем
Бэнкс Софт Системс

QA инженер

Бэнкс Софт Системс

  • Москва

  • до 250000 RUR

Рекомендуем
ОМНИДАТА
  • Москва

  • до 250000 RUR

ENGERTA
  • Москва

  • до 250000 RUR

Пи Эм Ай Системс

Инженер-технолог

Пи Эм Ай Системс

  • Москва

  • до 250000 RUR

БалтЭнергоМаш
  • Москва

  • до 250000 RUR

  • Москва

  • от 250000 RUR

Нео-Терм
  • Москва

  • от 250000 RUR

Проектное бюро Termico
  • Москва

  • от 250000 RUR

БЕЛУГА ПРОДЖЕКТС ЛОДЖИСТИК
  • Москва

  • от 200000 RUR

Центр по проведению судебных экспертиз и исследований, АНО

Инженер-взрывотехник

Центр по проведению судебных экспертиз и исследований, АНО

  • Москва

  • от 20000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию