Senior Data Egineer (Spark, office)

ОДИН ИЗ ЛУЧШИХ РАБОТОДАТЕЛЕЙ РОССИИ

Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.

Приветствуем на странице нашей компании и благодарим за интерес к вакансии. Будем рады оказаться полезны друг другу.

Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin.

Что нужно делать:

• Взаимодействие с командой и заказчиком по уточнению требований.
• Анализ чужого и написание своего кода на SQL, Python, Spark
• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.
• Тестирование и отладка кода, обеспечение качества данных.
• Документирование (Confluence)

Что мы хотели бы видеть:

Must have:
• Глубокие знания SQL.
• Spark (в том числе оптимизаци), Python
• Настройка и поддержка DAG-ов в Airflow для оркестрации процессов.
• Знание архитектуры хранилищ
• Умение работать в команде и следовать процессам заказчика.

Желательно:
• Iceberg
• Kafka
• Scrum
• Знание экономики, финансов, банковской сферы.