Старший инженер данных

Альфа-Банк

Старший инженер данных

Описание вакансии

Чем предстоит заниматься:
  • Разработка и сопровождение высоконагруженных пайплайнов расчёта признаков в Feature Store: витрины, агрегаты, таргеты;
  • Проектирование сложных пайплайнов, новых витрин и интеграция новых источников;
  • Подготовка данных в DataLake, SandBox и Feature Store по требованиям DS-команд и бизнес-направлений;
  • Вывод признаков в онлайн-контур (Cassandra);
  • Оптимизация производительности Spark-приложений, контроль потребления ресурсов кластера;
  • Поддержка стабильности пайплайнов в проде: мониторинг, разбор инцидентов, восстановление данных;
  • Проведение code review всех инженеров до уровня Senior, апрув изменений алгоритмов расчёта;
  • Наставничество Junior-и Middle-инженеров;
  • Разработка и актуализация документации;
  • Отражение статусов задач в Jira;
  • Участие в развитии платформы Feature Store и миграции на новую инфраструктуру.
Наши пожелания к кандидатам:
  • Python: уверенное знание структур данных и алгоритмов, ООП и функциональный подход, модульные и интеграционные тесты (pytest), поддерживаемый код (типизация, линтеры, pre-commit);
  • PySpark: разработка сложных высоконагруженных приложений (от сотен ГБ до ТБ). Глубокое знание настроек Spark и их влияния на производительность: партиционирование, shuffle, skew, broadcast join, AQE, память экзекуторов, параллелизм. Умение обосновать конфигурацию под объём данных, диагностирует spill и неэффективное использование ресурсов;
  • Экосистема Hadoop: HDFS, Hive, Impala, Hive Metastore, форматы хранения (Parquet, ORC), влияние размера и количества файлов на производительность;
  • SQL: сложные запросы с оконными функциями, чтение плана выполнения и оптимизация в Hive, Impala, Spark SQL;
  • Airflow: разработка, планирование и мониторинг пакетных пайплайнов — зависимости между DAG, сенсоры, пулы, backfill, перезапуск после сбоя;
  • Подготовка данных для ML: временные агрегаты, point-in-time корректность, data leakage, исторические срезы для обучения. Умение объяснить это DS-команде, наличие опыта работы с DS как заказчиками;
  • Git (BitBucket или аналог), опыт регулярного code review.
  • Плюсом: Cassandra или другое key-value хранилище для онлайн-выдачи признаков, опыт работы с Feature Store (самописный, Feast, Tecton, Chronon), Iceberg и S3 - DuckDB, pandas, Polars для локальной обработки и прототипирования.
Что мы предлагаем:
  • Стабильный и прозрачный доход: оклад + квартальная премия;
  • Возможен удаленный формат работы или гибрид;
  • Сложные и интересные задачи, современный стек технологий;
  • Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни;
  • Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий;
  • Предложения от Банка только для сотрудников: собственный спортзал, а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины.
Навыки
  • Python
  • SQL
  • Git
  • PySpark
  • Hadoop
  • Airflow
Посмотреть контакты работодателя

Похожие вакансии

Флаувау

Senior Data Engineer

Флаувау

  • Москва

  • Не указана

Рекомендуем
Фаззи Лоджик Лабс
  • Москва

  • Не указана

Рекомендуем
USETECH
  • Москва

  • Не указана

Рекомендуем
evrone.ru
  • Москва

  • Не указана

Ozon
  • Москва

  • Не указана

МегаФон
  • Москва

  • Не указана

ВсеИнструменты.ру

Data Engineer

ВсеИнструменты.ру

  • Москва

  • Не указана

ТЕХНОНИКОЛЬ

Data Engineer

ТЕХНОНИКОЛЬ

  • Москва

  • Не указана

Data Engineer

Genesis Group AG

  • Москва

  • Не указана

БУРГЕР КИНГ РОССИЯ
  • Москва

  • Не указана

GO-TO-SPORT.RU
  • Москва

  • Не указана

Честный знак.рф
  • Москва

  • Не указана

RWB (Wildberries & Russ)
  • Москва

  • Не указана

Группа компаний Астра

Perfomance engineer (PostgreSQL, PolarDB)

Группа компаний Астра

  • Москва

  • Не указана

Amex Development
  • Москва

  • Не указана

Lamoda Tech
  • Москва

  • Не указана

Компания БКС

Дата инженер

Компания БКС

  • Москва

  • Не указана

Rambler&Co
  • Москва

  • Не указана

  • Москва

  • Не указана

МегаФон

Data Engineer

МегаФон

  • Москва

  • Не указана

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию