Senior Data Engineer

Описание вакансии

О проекте

Ищем Senior Data Engineer в команду разработки платформы больших данных. Роль предполагает участие в создании и развитии интеграционных потоков, построении data lakehouse решений и разработке высоконагруженных потоков обработки данных.

Наш стек

Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop, Iceberg, Kafka, Flink, Cosmos.

Обязанности

- Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Разработка нетиповых интеграций (в тч SAP)
- Системная разработка инструментов (переиспользуемых шаблонов) обработки данных
- Разработка системного дизайна сложных решений (C2/DD)
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
- Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных. Предоставление отчетности о своей деятельности руководителю.

Требования

- Общее представление о стеке технологий Lakehouse
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера
- Знание SQL (индексы, функции, оптимизация, профилирование производительности
- Знание языков программирования (JAVA, Python)
- Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.)
- Умение работать с Git (знание команд git pull/commit/push)
- Опыт работы с DBT, Cosmos, Ni-Fi
- Опыт разработки на Spark
- Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore
- Понимание особенностей Trino
- Понимание форматов данных Iceberg, Parquet, Avro
- Понимание работы с minio или любого другого хранилища на основе S3
- Опыт использования системами ведения проектов и документации
- Опыт разработки нетиповых интеграций (включая SAP-системы)
- Опыт разработки near-realtime потоков (Flink, Debezium)
- Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием инструментов Observability (grafana, victoria metrics, zabbix)

Условия: