Data Engineer (Senior)

Компания хранит и обрабатывает кредитные истории более 100 миллионов россиян, помогая частным клиентам контролировать свою кредитную историю и получать лучшие финансовые предложения, а компаниям – принимать взвешенные решения и оценивать риски на основе аналитики данных.

Проект

Мы строим нашу инфраструктуру данных без легаси с использованием современного стека и подходов на базе Hadoop и GreenPlum. Мы занимаемся имплементацией и развитием Data Lake gen 3 и аналитической платформы данных, строим витрины данных, внедряем лучшие практики обработки и доставки данных в компании, реализуем MLOps, следим за качеством и «чистотой» данных.

Ближайшие задачи команды:
– Внедрение Feature Store на Feast.
– Автоматизация пайплайнов доставки ML моделей и данных для фичей.

Команда

8 data engineer (грейды jun, mid), Tech Lead, 2 архитектора, системные аналитики.

Чем предстоит заниматься

• Разрабатывать пайплайны загрузки данных из различных источников (РСУБД, NoSQL, files, streaming) в Datalake.
• Проводить RnD новых инструментов и технологий обработки и хранения данных.
• Решать алгоритмические задачи наполнения слоев хранилищ.
• Оптимизировать процессы хранения и обработки данных с использованием современных технологии и подходов.
• Реализовывать распределенные алгоритмы обработки больших данных.
• Разрабатывать компоненты загрузки данных между разрозненными компонентами платформы данных (Hadoop <-> Greenplum).

Что ожидаем от тебя

• Опыт работы на Scala от 3х лет.
• Опыт работы с экосистемой кластера Hadoop (CDP, Arenadata, Hortonworks).
• Опыт работы с БД: Delta lake, HBase, Redis, Greenplum.
• Опыт работы с Apache Airflow, Datahub (Atlas, Amundsen), Great Expectation.
• Отличные навыки – Apache Spark, Apache Spark structured streaming, Kafka.

Будет плюсом

• Опыт работы с табличным форматом хранения данных Delta lake.
• Опыт разработки приложений распределенных вычислений и обработки данных на Apache Flink.
• Опыт работы с Data science в части доставки данных и продукционализации моделей машинного обучения.
• Опыт построения Data lineage.
• Опыт работы с БД: Cassandra, Redis.
• Опыт работы с Feast.

Что готовы предложить

• Оформление по ТК РФ: оклад + годовой бонус (ориентируемся на ваши ожидания).
• Компания входит в реестр аккредитованных ИТ компаний (сотрудники получают отсрочку от мобилизации).
• Удаленный формат работы (в пределах РФ). При желании можно работать в офисе класса А (г. Москва, ст. м. Павелецкая).
• График работы 5/2, начало рабочего дня с 8 до 11 (обсуждается с лидом команды).
• ДМС со стоматологией (с 1 рабочего дня + полис путешественника).
• Частичная компенсация фитнеса / обучения / доп. мед. услуг (лимит-25 тыс. рублей в год).
• Льготная ипотека (от Сбербанк), в том числе рефинансирование (ставка по ипотеке на 2 пункта ниже).
• Дополнительные дни к ежегодному отпуску (всего 31 день в году).
• Современное оборудование (техника Windows).
• Выстроенный онбординг.
• Возможности для роста внутри компании по прозрачному треку (техническая карта и карта компетенций).

Как мы проводим собеседования

• 15-20 минут – общение с рекрутером.
• 60-90 минут - техническое интервью с лидом команды (google meet, видео встреча).
• 60 минут - интервью с руководителем направления (google meet, видео встреча).
• Проверка документов 1-2 дня (анкета в электронном виде).
• Оффер, обсуждение даты выхода на работу.

Мы стараемся как можно быстрее принимать решения.