Data Engineer (Oracle/Hadoop)

В нашей IT-команде уже больше 850 специалистов, которые постоянно совершенствуют свои навыки. Мы не стоим на месте — постоянно улучшаем процессы разработки (ATDD, CI/CD и другие), пробуем новые подходы и развиваем команду. Нам важно, чтобы каждый сотрудник продолжал расти, поэтому мы проводим внутренние митапы, хакатоны, развиваем гильдии по направлениям и поддерживаем обучение за пределами компании. У нас есть много возможностей для профессионального развития и не только.

О проекте:

Сейчас мы находимся в поисках Data Engineer (Oracle/Hadoop) в команду, которая занимается полным циклом внедрения новых и развития существующих математических моделей (AI/ML моделей).

Наш стэк:

Мы все работаем на современной ML-платформе.

Используем Python, PySpark, SQL, Airflow для оркестрации DAGов, MLFlow для регистрации моделей и Feature Store для хранения фичей.

Наша команда:

15 человек: DE, DS, DA и MLE

Чем предстоит заниматься:

• Построение и доработка хранилищ данных продукта КАСКО
• Настройка существующих и разработка новых потоков данных для сложных высоконагруженных систем
• Сборка, проработка и восстановление логики, очистка данных и защита их перед бизнес заказчиком
• Создавать и внедрять эффективные инструменты для работы с данными data команды: аналитиков и DS
• Поиск неэффективностей и предложение решений по замене рутинных процессов на современные решения

Что мы ждем:

• Опыт в направлении от 3 лет;
• Опыт работы с Oracle и Hadoop / S3 / HDFS
• Опыт в построении или валидации DWH
• Знание, где лучше ETL, а где лучше ELT
• Знание Python

Будет плюсом:

• Опыт работы с claude code и другими подобными языковыми моделями и опыт применения их в реальных кейсах
• Будет плюсом знание других языков программирования