Системный аналитик (миграция Big Data)

Задачи специалиста:

• Миграция Hadoop на новый BigData стек

• Сбор информации об интегрируемых системах, получение сетевых доступов и учетных записей в тестовых и продуктивных контурах

• Анализ документации и фактической реализации витрин Hadoop, определение конечного списка потоков для миграции

• Постановка задач разработчику на перенос ETL-процессов

• Формирование технической документации по процессам миграции

• Исходная платформа: Hadoop (Oozie, Hive, YARN, Spark), данные в Parquet/ORC, Scala/Python

• Целевая платформа: MinIO + Apache Iceberg, Airflow, Kubernetes, PySpark

• Инструменты: Git, Confluence, Jira, CI/CD

Требования к кандидату:

• Опыт работы системным аналитиком или разработчиком от 3 лет

• Хорошее владение SQL (сложные запросы, pivot-анализ)

• Практический опыт работы с Python

• Умение работать с командной строкой Linux

• Опыт работы с форматами данных: XML, JSON

• Понимание принципов построения ETL-процессов и витрин данных

• Практическое применение UML-диаграмм

• Понимание работы РСУБД

• Базовые знания: Apache Spark, Apache Hive, Airflow

Будет плюсом:

• Опыт интеграций систем и миграции витрин данных