Data Engineer (Spark)

Т-Банк

Data Engineer (Spark)

Описание вакансии

В проекте "Grapher", ключевом драйвере монетизации внутренней платформы работы с данными "Profiles Platform", открыта вакансия инженера по разработке высоконагруженных систем. Grapher - это масштабный граф клиентских связей (более 70 млрд рёбер) на базе Cassandra, обеспечивающий:

  • Скоринг по окружению: оценка кредитных рисков на основе 2-hop сетей контактов
  • BAF (Bring a Friend): подбор наиболее релевантных рефералов
  • Антифрод: выявление мошеннических схем и аномалий в связях
  • Telesales: рекомендация целевых продуктов под каждого клиента по уго окружению

В рамках обновления платформы тебе предстоит:

  1. Решать задачи заливки и обогащения больших объемов данных в кассандру.
  2. Разрабатывать и интегрировать расчёт графовых метрик (Jaccard, Dice, PageRank и др.) с построением соответствующих пайплайнов
  3. Реализовать выдачу 2-hop окружения для OLTP и OLAP запросов
  4. Оптимизировать скорость и надёжность выполнения запросов

Требования:

  • Опыт промышленной разработки на Apache Spark от 3 лет
  • Хорошее знание одного из табличных форматов: Iceberg, DeltaLake, Hudi
  • Практический опыт оптимизации задач на Spark
  • Знание одного из языков программирования — Java ( в приоритете), Python, Scala
  • Владение SQL на уровне написания аналитических запросов
  • Хорошие навыки презентации и/или обучения

Условия:

  • Работу в офисе или удаленно — по договоренности

  • Возможность работы в аккредитованной ИТ-компании

  • Платформу обучения и развития «Т‑Банк Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии

  • Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким

  • Бесплатный фитнес-зал или компенсацию затрат на спортивные занятия

  • 3 дополнительных дня отпуска в год

  • Уникальную well-being-программу, направленную на физическое и ментальное благополучие сотрудников

  • Достойную зарплату — обсудим ее на собеседовании

Посмотреть контакты работодателя

Похожие вакансии

Леста Игры

Data Engineer

Леста Игры

Полный день
  • Санкт-Петербург

  • Не указана

Рекомендуем
СБЕР
Полный день
  • Санкт-Петербург

  • Не указана

Рекомендуем
Яндекс
Полный день
  • Санкт-Петербург

  • Не указана

Рекомендуем
2ГИС
Удаленная работа
  • Санкт-Петербург

  • Не указана

Яндекс
Удаленная работа
  • Санкт-Петербург

  • Не указана

Интерлизинг

Инженер данных

Интерлизинг

Полный день
  • Санкт-Петербург

  • Не указана

Инновационные технологии

Data Architect

Инновационные технологии

Полный день
  • Санкт-Петербург

  • Не указана

Объединенные Пивоварни

Разработчик DWH / Инженер данных

Объединенные Пивоварни

Удаленная работа
  • Санкт-Петербург

  • Не указана

WONE IT

Data Engineer

WONE IT

Удаленная работа
  • Санкт-Петербург

  • Не указана

Полный день
  • Санкт-Петербург

  • Не указана

СБЕР
Полный день
  • Санкт-Петербург

  • Не указана

Честный знак.рф

Middle Data Analyst

Честный знак.рф

Полный день
  • Санкт-Петербург

  • Не указана

ГАЗИНФОРМСЕРВИС
Полный день
  • Санкт-Петербург

  • Не указана

Петрович-Тех

Data steward (Data governance)

Петрович-Тех

Удаленная работа
  • Санкт-Петербург

  • Не указана

Датаджайл
Полный день
  • Санкт-Петербург

  • Не указана

Университет ИТМО

Middle AI Engineer

Университет ИТМО

Полный день
  • Санкт-Петербург

  • до 250000 RUR

Датаджайл

Инженер (PostgreSQL)

Датаджайл

Полный день
  • Санкт-Петербург

  • до 250000 RUR

ATI.SU
Полный день
  • Санкт-Петербург

  • до 250000 RUR

KAMAZ DIGITAL

Lead Data Scientist

KAMAZ DIGITAL

Полный день
  • Санкт-Петербург

  • до 250000 RUR

YADRO
Удаленная работа
  • Санкт-Петербург

  • до 250000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию