Data Engineer

Чем предстоит заниматься

• Проектировать, развивать и оптимизировать платформы хранения и обработки данных (DWH и Data Lake)

• Реализовывать надёжные, масштабируемые и повторяемые ETL/ELT-процессы

• Интегрировать данные из различных источников (БД, API, файловые хранилища и др.)

• Оптимизировать SQL-запросы и организацию хранения данных в соответствии с потребностями аналитики

• Разрабатывать стриминговые процессы обработки данных на базе Apache Flink и Python

• Внедрять лучшие практики в области качества данных, мониторинга и информационной безопасности

Что важно знать и уметь

• Уверенные знания принципов построения архитектуры хранилищ данных (DWH) и многомерного моделирования

• Продвинутый уровень SQL: оконные функции, анализ и оптимизация планов выполнения, стратегии соединений

• Опыт работы с Hadoop/S3 и различными форматами хранения (Parquet, Avro, ORC)

• Практический опыт использования Apache Airflow для оркестрации процессов

• Навыки интеграции данных из PostgreSQL, Oracle, API, S3, FTP/NFS и других источников

• Владение Python для написания скриптов и утилит

• Уверенная работа в Linux-среде: bash, работа с логами, автоматизация, диагностика

• Системное мышление и самостоятельный подход к решению задач

Будет плюсом

• Понимание архитектуры Apache Kafka

• Опыт работы с Apache Flink, знание Java на базовом уровне

• Опыт использования Apache Spark

• Знание принципов CDC и опыт работы с инструментами Oracle GoldenGate, Debezium

• Навыки работы с Docker, Kubernetes, CI/CD и Git

• Опыт построения отчётности и визуализации данных (Superset, Power BI и др.)