Главный инженер контроля качества данных

Ищем:

инженера сопровождения (профиль больше дата-инженера/SRE-инженера)

Команда/Проект:

Контроль качества данных для департамента продвинутой аналитики

Команда занимается задачами сопровождения дата продуктов

Что для нас наиболее важно:

​​Опыт работы с:

• SQL, Spark, Hadoop, Airflow/Oozie
• Понимание ETL
• Умение читать код (чтобы понимать, как данные из одного места транслируются в другое)

Ваша зона ответственности:

• Сопровождение и анализ существующих процессов загрузки
• Разбор технических контролей качества данных
• Тестирование и установка доработок в продуктивный контур

Необходимые навыки:

​​​​​​​Знание и опыт работы:

• ЯП: SQL, Python
• Технологического стека: Apache Spark, Hadoop\S3\S3-like, Apache Airflow, Parquet\ORC
• Знание Apache Iceberg будет плюсом
• Навыки работы с: Jira + Confluence или аналогичное, Git, CI/CD, XML, JSON
• Навыки системного анализа, тестирования
• Базовое знание работы с РСУБД, Kafka