Junior Data Engineer

Задачи, которые мы предлагаем:

• Решение задач Казначейства по автоматизации управления активами и пассивами:
• Полный цикл разработки всех слоёв хранилища данных (Hadoop), начиная с ядра;
• Разработка и проектирование потоков данных, алгоритмов загрузки и обработки данных в Hadoop с использование Apache Spark;
• Разработка и оптимизация ETL процессов, обеспечение производительности и стабильности, при необходимости участие в анализе инцидентов;
• Участие в проектировании системы, решение исследовательских задач по реализации функционала;
• Участие в процессе передачи системы (пром).

Знания и навыки :

• Высшее ИТ-образование;
• Знания принципов построения систем хранения и обработки данных;
• Опыт работы с реляционными СУБД (Oracle, PostgreSQL);
• Опыт программирования на Python;
• Опыт промышленной разработки ETL на Apache AirFlow;
• Опыт работы с аналитическими хранилищами, знание теории БД, хорошее знание SQL;
• Опыт написания тестов;
• Понимание методологий Agile и DevOps;
• Опыт работы с ALM-системами будет большим плюсом
• Знания и опыт работы с Hadoop, Airflow и Spark приветствуются