Data Engineer

Описание проекта:
Стек проекта: Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.RL

Требования к кандидату:
• знаешь SQL на уровне оптимизации сложных запросов;
• знаешь принципы работы классических и MPP-СУБД;
• опыт разработки на Python и/или Java, Scala;
• опыт оркестрации ETL-пайплайнов с помощью Airflow;
• опыт работы с dbt;
• опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• опыт Apache Spark (Spark DataFrames, Spark SQL);
• знаком с банковской предметной областью;
• знакомство с банковской предметной областью;
• опыт работы с Kafka, Trino;
• опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
• знания и опыт CI/CD-практик и инструментов;

Задачи на проекте:
• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную
загрузку;
• работать с общебанковской data-платформой (data lake, dwh);
• разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать
оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• анализировать и оптимизировать производительность пайплайнов, инструментов и
дата-сервисов;
• развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• управлять обновлениями, настройками, устранять выявленные уязвимости,
восстанавливать сервисы после сбоев, обрабатывать инциденты.

• ВСЕГДА удаленный формат работы
• Аккредитованная IT компания
• Стабильная заработная плата, которую мы готовы обсуждать по итогам интервью
• Индексация оклада по итогам проекта или полугодия работы
• Премирование по итогам проекта или года работы
• Полноценный трудовой договор или оформление по удобному для вас формату сотрудничества (ИП, СЗ)
• Возможна организация обучения или сертификации, как по плану обучения внутри компании, так и по инициативе сотрудника
• Организация участия в профильных IT мероприятиях (в том числе по инициативе сотрудника)
• Реферальная программа для сотрудников – бонус за рекомендованного трудоустроенного IT-специалиста!
• Комфортное HR сопровождение на всех этапах сотрудничества