Middle/Senior Data Engineer

Сейчас мы ищем Middle/Senior Инженеров данных на один из крупнейших проектов F&R.

F&R - масштабный проект по разработке собственной системы прогнозирования спроса и планирования заказов.

Стек технологий: Spark, SQL, Airflow , Kubernetes

чем ты будешь заниматься:

• проектировать, разрабатывать, тестировать и поддерживать ETL/ELT-пайплайны для обработки данных в реальном времени и в пакетном режиме;
• разрабатывать и оптимизировать приложений на Apache Spark;
• создавать и поддерживать DAG в Apache Airflow для оркестрации всех процессов данных;
• участвовать в проектировании архитектуры хранения и обработки данных.

• опыт работы с Apache Spark;
• умение выполнять сложную нормализацию данных;
• умение писать и оптимизировать сложные SQL-запросы для извлечения, преобразования и агрегирования данных в Spark;
• знание принципов распределённой обработки данных, параллельного выполнения запросов и оптимизации кэширования.