Senior Data Egineer (Spark, Iceberg, StarRocks)

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ

Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.

Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.

Проект связан с миграцией кода, который сейчас на Hadoop/Spark на StarRocks (переход от пакетной ETL/Data Lake архитектуры к высокопроизводительному MPP OLAP-хранилищу).

Стек:

SQL, Spark, Python, Iceberg, Airflow

Что нужно делать:

• Активное взаимодействие с большим количеством команд и заказчиком по уточнению требований.
• Анализ чужого и написание своего кода на SQL, Python, Spark
• Опыт с Apache Iceberg и StarRocks / Trino
• Подтвержденный опыт миграции данных на Lakehouse
• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.
• Опыт работы с облаками Yandex/AWS/Azure
• Тестирование и отладка кода, обеспечение качества данных.
• Документирование (Confluence)

Что мы хотели бы видеть:

• Глубокие знания SQL.
• Spark (в том числе оптимизации), Iceberg, Python
• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.
• Знание архитектуры хранилищ
• Опыт миграции данных
• Умение работать в команде и следовать процессам заказчика.

Желательно:

• Kafka
• Scrum
• Знание экономики, финансов, банковской сферы

Что ты приобретешь присоединившись к нам :

• Достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;
• Работа в команде профессионалов готовых делиться экспертизой;
• Официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет:
• Компенсация затрат на фитнес и занятия английским языком;
• Обеспечиваем техникой для работы (ноутбук, наушники, мышь),
• Профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах);
• Возможность пройти проф.сертификацию;
• Прозрачную систему карьерного развития Performance Review;
• Персонального наставника с первого дня работы;
• Насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;