Data Engineer (Hadoop/Spark)

ВСК, САО

Data Engineer (Hadoop/Spark)

Москва, Островная улица, 4

Метро: Молодежная

Описание вакансии

О проекте: Сейчас мы находимся в поисках Data Engineer (Hadoop/Spark) в команду, которая занимается полным циклом внедрения математических моделей (ML моделей)

Наш стек: Мы все работаем на современной ML-платформе.

Используем PySpark, SQL, Python, Airflow для оркестрации DAGов, MLFlow для регистрации моделей и Feature Store для хранения фичей

Наша команда: 7 человек: DE, DS, DA и MLE

Чем предстоит заниматься:

  • Формирование датасетов, поиск и подгрузка данных
  • Автоматизация Data Pipelines
  • Разработка ETL-процессов для интеграции данных из различных внутренних и внешних источников
  • Оптимизация сборки датасетов и работа с багами
  • Подготовка данных для внедрения математических моделей в конвейер принятия решений

Что мы ждем:

  • Опыт в направлении от 3 лет
  • Опыт с Apache Airflow: настройка, оптимизация, DAG на Python
  • Знание SQL на уровне сложных запросов и оптимизации
  • Знание Python на Middle уровне
  • Высшее образование

Будет плюсом:

  • Опыт работы с Pyspark, Scala
  • Знание потоковых данных (Kafka, Spark Streaming)
  • Опыт работ с Docker, Kubernetes
Навыки
  • Hadoop
  • Spark
Посмотреть контакты работодателя

Адрес

Похожие вакансии

АО «ОТП Банк» (JSC «OTP Bank»)

Data engineer

АО «ОТП Банк» (JSC «OTP Bank»)

  • Москва

  • Не указана

Рекомендуем
WINLINE
  • Москва

  • Не указана

Рекомендуем
Главгосэкспертиза России

Инженер данных, ETL

Главгосэкспертиза России

  • Москва

  • Не указана

Рекомендуем
STONE
  • Москва

  • Не указана

Магазины Ароматный Мир формата food & wine

Data-Scientist

Магазины Ароматный Мир формата food & wine

  • Москва

  • Не указана

ТЕХНОНИКОЛЬ

Data Engineer

ТЕХНОНИКОЛЬ

  • Москва

  • Не указана

ИЦ АЙ-ТЕКО

Data Analyst/Engineer

ИЦ АЙ-ТЕКО

  • Москва

  • Не указана

СБЕР
  • Москва

  • до 500000 RUR

ВсеИнструменты.ру

Data Engineer

ВсеИнструменты.ру

  • Москва

  • до 500000 RUR

МегаФон
  • Москва

  • до 500000 RUR

Media Instinct Group

Data Engineer

Media Instinct Group

  • Москва

  • до 500000 RUR

Банк Русский Стандарт

Инженер DWH / Data Engineer

Банк Русский Стандарт

  • Москва

  • до 500000 RUR

Страховая компания Сбербанк страхование

Data аналитик

Страховая компания Сбербанк страхование

  • Москва

  • до 500000 RUR

WINLINE
  • Москва

  • до 500000 RUR

Страховая компания Сбербанк страхование

ML backend engineer

Страховая компания Сбербанк страхование

  • Москва

  • до 500000 RUR

ВСК, САО

Data Scientist

ВСК, САО

  • Москва

  • до 500000 RUR

Островок

Middle+ DWH Engineer

Островок

  • Москва

  • до 500000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию