Data Engineer

ЛОКО-БАНК

Data Engineer

Москва, Ленинградский проспект, 39с80

Метро: Аэропорт

Описание вакансии

Обязанности:
  • Разработка и поддержка ETL-пайплайнов на PySpark (обработка данных в Data Lake: Trino+Iceberg, HDFS);
  • Проектирование и написание DAG в Apache Airflow;
  • Загрузка сырых данных и слоя DDS в Iceberg;
  • Построение финальных витрин данных в PostgreSQL (денормализация, агрегации);
  • Написание и оптимизация сложных SQL-запросов (в т.ч. оконные функции, CTE);
  • Поддержка контроля качества данных: реализация проверок и алертов в пайплайнах;
  • Оптимизация производительности: батчинг, партиционирование Iceberg, настройка Spark;
  • Взаимодействие с аналитиками BI для корректного построения источников данных под Qlik и Power BI;
  • Мониторинг пайплайнов (SLA-контроль, логи, ретраи, обработка сбоев).
Требования:
  • Стек технологий (обязательно к работе):
    Python, PySpark, Apache Airflow, Trino, Apache Iceberg, HDFS, PostgreSQL, Scrum;
  • Опыт коммерческой разработки на Python от 2 лет (именно для data-инженерии, не веб);
  • Опыт работы с PySpark от 1 года (чтение/запись в Hive/Iceberg, трансформации, оптимизация);
  • Опыт написания DAG в Apache Airflow ;
  • Хорошее понимание Iceberg (схема эволюции, time travel, MERGE, партиционирование) в связке с Trino;
  • Продвинутый SQL (оконные функции, CTE, объединения, подзапросы) на PostgreSQL-подобных диалектах;
  • Опыт проектирования витрин в PostgreSQL (денормализация, агрегации, SCD Type 2);
  • Понимание контроля качества данных;
  • Опыт оптимизации ETL-пайплайнов (работа с большими объёмами, избегание дрейфа схемы, настройка Spark);
  • Понимание работы распределённых систем (принципы MapReduce, shuffle, партиционирование);
  • Готовность взаимодействовать с BI-разработчиками: понимание Qlik и Power BI.
Условия:
  • Официальное трудоустройство и стабильная заработная плата;
  • Удалённый формат работы;
  • Возможности профессионального и карьерного роста внутри банка;
  • ДМС после испытательного срока.
Навыки
  • PySpark
  • PostgreSQL
  • DWH
  • ETL
  • Python
  • Apache Airflow
  • Scrum
Посмотреть контакты работодателя

Адрес

Похожие вакансии

Островок
  • Москва

  • Не указана

Рекомендуем
Газпромбанк

BI-инженер

Газпромбанк

  • Москва

  • Не указана

Рекомендуем
ТЕХНОНИКОЛЬ

Data Engineer

ТЕХНОНИКОЛЬ

  • Москва

  • Не указана

Рекомендуем
Дом Лента
  • Москва

  • Не указана

ГК Орбита
  • Москва

  • Не указана

Текс-Мод

Data Engineer

Текс-Мод

  • Москва

  • Не указана

Okko
  • Москва

  • Не указана

Ситидрайв
  • Москва

  • Не указана

Datanomica
  • Москва

  • Не указана

АО «ОТП Банк» (JSC «OTP Bank»)

Инженер данных

АО «ОТП Банк» (JSC «OTP Bank»)

  • Москва

  • Не указана

USETECH
  • Москва

  • Не указана

РСХБ-Интех
  • Москва

  • Не указана

Росгосстрах

ML-инженер

Росгосстрах

  • Москва

  • Не указана

Ozon
  • Москва

  • Не указана

НТЦ ЕЭС Информационные Комплексы

Data scientist

НТЦ ЕЭС Информационные Комплексы

  • Москва

  • Не указана

Займиго МКК
  • Москва

  • от 280000 RUR

Туту
  • Москва

  • от 280000 RUR

Специализированный депозитарий ИНФИНИТУМ

Senior ML Engineer

Специализированный депозитарий ИНФИНИТУМ

  • Москва

  • от 280000 RUR

СБЕР
  • Москва

  • от 351000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию