Data engineer

АО «ОТП Банк» (JSC «OTP Bank»)

Data engineer

Москва, Замоскворецкая линия, метро Войковская

Метро: Войковская

Описание вакансии

Цель: Обеспечение стабильной, автоматизированной и масштабируемой инфраструктуры обработки данных для задач маркетинговой аналитики банка. Развитие процессов сбора и интеграции данных из внутренних и внешних источников, построение и оптимизация аналитических витрин, автоматизация регулярных расчётов и обновления BI-отчётности. Повышение качества, доступности и своевременности данных, сокращение ручных операций и снижение операционных рисков при подготовке аналитической информации для принятия бизнес-решений.

Чем предстоит заниматься:

  • Разработка ETL/ELT-процессов. Разработка, оптимизация и сопровождение процессов загрузки, преобразования и обработки данных с использованием SQL, Python, Apache Spark и других инструментов.
  • Развитие DWH и аналитических витрин. Проектирование, создание и поддержка аналитических моделей и витрин данных в Hadoop (Spark, Iceberg), Greenplum и ClickHouse; оптимизация хранения, обработки и выполнения запросов.
  • Интеграция внутренних и внешних источников данных. Организация загрузки данных из внутренних систем банка и внешних платформ, включая AppMetrica, Яндекс Метрику, Яндекс Директ и другие источники, посредством API, SFTP и иных согласованных способов обмена данными.
  • Автоматизация и оркестрация. Разработка и сопровождение процессов в Apache Airflow, управление расписаниями, зависимостями, повторными запусками и обработкой ошибок; перевод ручных расчётов в автоматизированные процессы.
  • Автоматизация BI-отчётности. Обеспечение регулярного обновления источников данных, датасетов и аналитических дашбордов FineBI, контроль своевременности и корректности обновления информации.
  • Контроль качества данных. Разработка и внедрение автоматизированных проверок полноты, корректности, уникальности и актуальности данных; выявление и устранение причин расхождений и ошибок.
  • Мониторинг и сопровождение. Контроль работоспособности пайплайнов, диагностика и устранение сбоев, настройка логирования, уведомлений и механизмов восстановления процессов.
  • Взаимодействие со смежными подразделениями. Совместная работа с аналитиками, владельцами информационных систем, инфраструктурными подразделениями и командами УИБ/ИБ по вопросам доступов, интеграций, согласования технических решений и выполнения требований информационной безопасности.
  • Развитие инженерных практик. Использование Git/Bitbucket, участие в Code Review, документирование решений, соблюдение стандартов разработки и участие в развитии процессов тестирования и поставки кода.
  • Техническая проработка задач. Участие в анализе требований, оценке трудоёмкости и декомпозиции задач совместно с аналитиками; выбор и реализация технических решений в рамках архитектуры и стандартов банка.

Что мы ожидаем от кандидата:

  • Уверенное владение SQL.
  • Уверенное владение Python для разработки процессов обработки данных, интеграций и автоматизации.
  • Практический опыт разработки и сопровождения ETL/ELT-процессов, включая инкрементальную загрузку, повторные запуски и обработку ошибок.
  • Опыт работы с Apache Spark (PySpark и/или Spark SQL), понимание принципов распределённой обработки больших объёмов данных.
  • Опыт работы с Apache Airflow или аналогичными инструментами оркестрации процессов.
  • Опыт работы с DWH и аналитическими базами данных, понимание архитектуры хранилищ и принципов построения аналитических витрин.
  • Понимание подходов к обеспечению качества данных, мониторингу и диагностике процессов обработки данных.
  • Опыт использования Git и инструментов совместной разработки.
  • Понимание принципов интеграции информационных систем, работы с API и основных способов передачи данных.
  • Умение работать с техническими требованиями, самостоятельно реализовывать согласованные решения и взаимодействовать с аналитиками и смежными IT-командами.

Посмотреть контакты работодателя

Адрес

Похожие вакансии

Главгосэкспертиза России

Инженер данных, ETL

Главгосэкспертиза России

  • Москва

  • Не указана

Рекомендуем
ИЦ АЙ-ТЕКО

Data Analyst/Engineer

ИЦ АЙ-ТЕКО

  • Москва

  • Не указана

Рекомендуем
Банк Русский Стандарт

Инженер DWH / Data Engineer

Банк Русский Стандарт

  • Москва

  • Не указана

Рекомендуем
Страховая компания Сбербанк страхование

Data аналитик

Страховая компания Сбербанк страхование

  • Москва

  • Не указана

ТЕХНОНИКОЛЬ

Data Engineer

ТЕХНОНИКОЛЬ

  • Москва

  • Не указана

А7-ТЕХНОЛОГИИ
  • Москва

  • Не указана

СБЕР
  • Москва

  • до 500000 RUR

WINLINE
  • Москва

  • до 500000 RUR

Инженер данных (ClickHouse / Airflow / Python)

Региональный кадровый центр Министерства здравоохранения Московской области

  • Москва

  • до 500000 RUR

Островок

Middle+ DWH Engineer

Островок

  • Москва

  • до 500000 RUR

Страховая компания Сбербанк страхование

ML backend engineer

Страховая компания Сбербанк страхование

  • Москва

  • до 500000 RUR

Алабуга, ОЭЗ ППТ

Data Engineer (ClickHouse, Airflow, Python)

Алабуга, ОЭЗ ППТ

  • Москва

  • от 157500 RUR

WINLINE
  • Москва

  • от 157500 RUR

СБЕР
  • Москва

  • от 157500 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию