Data Engineer (Spark, NiFi)

• Разработка ETL процессов для загрузки и интеграции данных в рамках Аналитической платформы (АП).

• Разработка кастомных сервисов для контроля качества данных, визуализации и других подсистем АП.

• Разработка коннекторов к источникам данных (RDBMS, NoSQL), интеграций между подсистемами АП

Требования:

• Опыт разработки ETL pipelines (пакетные и потоковые) и интеграций для корпоративных хранилищ данных

• Spark (must have) - опыт написания джобов, понимание принципов оптимизации, настроек

• Nifi (must have)

• Kafka - базовый опыт использования, работа с топиками

• Airflow – базовый опыт

• Опыт разработки от 3 лет для написания кастомных интеграций (желательно Python и опыт с SQL Alchemy, можно scala, java)

• Хорошие знания SQL (Spark sql, соединения, оконные функции, оптимизация запросов)

• Будет плюсом: опыт работы с MPP базами, опыт с Trino

• Оформление по ТК РФ в ИТ-аккредитованную компанию
• Годовой бонус до 15% от годового дохода
• ДМС, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой;
• Программа корпоративных скидок
• Выстроенная система работы с персоналом: индивидуальный план развития, выделенный бюджет на обучение у сторонних подрядчиков, регулярные 1:1 с руководителем
• Дополнительный оплачиваемый отпуск
• Работа на проектах с крупнейшими Российскими заказчиками