Технический Лид BigData

В связи с расширением, в команду разработки DataLake ищем Технического Лида на стек BigData, который будет вести разработку у конкретных бизнес-направлений. Предстоит управлять техническими аспектами команд дата-инженеров конкретных бизнес-подразделений, реализовывать с ними различные витрины данных и ETL процессы доставки данных в стеке BigData, совместно с проджект-менеджерами управлять бэклогом работ и ожиданиями заказчиков

Наш стек:

- Начата миграция с: Hadoop (Oozie, Hive, YARN), данные в Parquet и ORC, Spark, Scala и Python
- Мигрируем в: MinIO + Apache Iceberg, Airflow с внутренним управляющим механизмом, Kubernetes, данные в Parquet, Spark, больше Python чем Scala
- Также работаем с: Kafka, API, Tarantool, Oracle, Greenplum
- Git, Confluence, Jira, CI/CD

Чем предстоит заниматься

• Совместно с проджект-менеджером бизнес-направления управлять работами команды в разрезе задач и дефектов в Datalake
• Обеспечивать консультации по работе ПО для: сопровождения системы, смежных подразделений, заказчикам
• Обеспечивать помощь сопровождению в стабилизации работы ПО в проде
• Лидировать команду по техническим и процессным аспектам, обеспечивать наставничество, участвовать в проработке стандартов разработки, документирования и связанных методологий
• Вместе с командой разрабатывать решения и документацию для них, принимать участие в тестировании

Что мы ждем от вас

• Высшее техническое образование

• Опыт работы в разработке ПО: от 6 лет

• Опыт работы в стеке BigData: от 3х лет

• Отличные знания Apache Spark и опыт работы с ним

• Отличные знания Apache Hive или Apache Iceberg и опыт работы с ними

• Хорошие знания Apache Airflow и опыт работы с ним

• Хорошее владение SQL (вложенные запросы, pivot-ы) и опыт работы с данными на нём

• Хорошее владение Python или Scala и опыт работы с ними

• Умение работать с командной строкой ОС семейства Linux

• Хорошие знания различных форматов данных и опыт работы с: XML, JSON, Parquet, ORC

• Знания на начальном уровне других языков программирования (Scala, Python, C, Java и т.п.)

• Опыт формализации требований, проектирования сложных ETL процессов витрин данных

• Умение применять на практике основные UML диаграммы

• Хорошее понимание работы РСУБД

• Хорошее знание способов интеграций систем

• Знания на базовом уровне технологий: Kafka/RabbitMQ, Greenplum, REST API, Docker / Kubernetes

• Устойчивые навыки управления командой, делегирования, мотивирования, наставничества

• Навыки декомпозиции задач, понимания приоритета задач

• Умение объяснять сложное простыми словами, кратко и ёмко общаться с коллегами

• Уметь не только слушать, но и слышать

• Уметь писать понятную документацию

Что мы предлагаем взамен

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Гибридный формат работы, либо удаленка, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи
• Готовность к гибридному формату (офис/удалёнка), а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины