Middle Data-engineer

Алматы, улица Зеина Шашкина, 1/1

Метро: Абая

Описание вакансии

Задачи, которые ты будешь выполнять:

Разработка и оптимизация пайплайнов обработки данных на Apache Spark (batch/streaming, выбор стратегии партиционирования, оптимизация shuffle и ресурсов)
Работа с Kafka (архитектура, продюсеры/консюмеры, схемы событий, обработка streaming-данных)
Разработка и сопровождение DAG’ов в Apache Airflow (зависимости, SLA, retry-политики, алерты, мониторинг)
Подготовка данных для ML-задач (feature engineering, контроль leakage, обработка outliers, балансировка классов)
Участие в построении Feature Store (материализация фич из Hadoop/Spark в Cassandra, real-time и offline слой)
Работа с ML-инфраструктурой (MLflow/Kubeflow контроль экспериментов, понимание пайплайна обучения и инференса)
Взаимодействие с ML-командой и бизнесом для определения требований к данным

Нам по пути, если у тебя есть:

Высшее техническое образование
Опыт работы в области Data Engineering / Big Data от 2–3 лет
Продвинутый Python (основной язык), знание Scala или Java
Практический опыт работы с: Apache Airflow, Apache Spark/Hadoop,Cassandra, Kafka, Git, Kubernetes
Понимание принципов распределенных систем и обработки больших данных
Понимание жизненного цикла ML-моделей (train → validate → deploy → inference)

Будет плюсом:

Мы предлагаем тебе:

Конструктор льгот OLZHA: кэшбек на здоровье, спорт, путешествия и саморазвитие в рамках утвержденных лимитов
Продукты компании для сотрудников на выгодных условиях
Внутреннее и внешнее обучение, корпоративный доступ к образовательной платформе Udemy
Merch Store: брендированная продукция с корпоративной символикой
Отсутствие дресс-кода
Ультрасовременный и уютный офис HCB HUB
Массаж в офисе, йога-классы, корпоративные скидки в фитнес-клубы, клиники, магазины
Яркая корпоративная жизнь: мероприятия, клубы по интересам

Посмотреть контакты работодателя