Data Engineer

Вместе с нами ты будешь:

• проектировать и разрабатывать etl фреймворк на стеке scala/hadoop/spark;
• разрабатывать unuit тесты и интеграционные автотесты;
• проектировать шаблоны etl пайплайнов;
• разрабатывать dag airflow для автоматизации etl потоков и обработки метаданных;
• оптимизировать запуски spark приложений;
• разрабатывать инструменты для процесса data quality;
• разрабатывать инструменты для взаимодействия с хранилищем метаданных;
• Security champion: анализ и устранение уязвимостей кода.

Какие знания и навыки для нас важны:

- Python, Scala, SQL ;

- Hive, Iceberg, Impala, Kyuubi, GreenPlum, PostgreSQL, ClickHouse;

- Git, IDE Intellij IDEA/Pycharm;

- Hadoop (hdfs, yarn), Spark (3.2+ версия), Airflow, jdbc, maven, pip, k8s, Kafka, Docker;

- Data Lake, Data Lakehouse, DWH, ETL, ELT, OLTP, OLAP.