Data Engineer

Требования к кандидату

Опыт работы с одним или несколькими стеками:

On-Premise
— ClickHouse
— Greenplum
— HDFS

AWS
— Redshift
— EMR
— Glue
— Athena
— S3
— SQS
— Kinesis

Azure
— Data Factory
— Blob Storage
— Synapse Analytics
— Azure Data Lake Storage Gen2
— Cosmos DB

GCP
— BigQuery
— Dataflow (Apache Beam)
— Pub/Sub
— Cloud Storage
— Cloud Composer

Базовый стек (вне зависимости от платформы)
— Python
— SQL (MySQL, PostgreSQL)
— NoSQL (MongoDB, AWS DynamoDB, Cassandra)
— Apache Airflow
— Apache Spark (PySpark)
— Apache Kafka

Обязательные компетенции
— Разработка и поддержка CI/CD пайплайнов
— Развертывание и поддержка приложений в Kubernetes (k8s) и AWS ECS
— Обучение младших сотрудников

Будет преимуществом:
— Apache NiFi
— Apache Flink
— Neo4j
— ElasticSearch / OpenSearch
— BI (PowerBI, Superset, Tableau)
— DBT
— Snowflake
— Databricks
— Опыт на лидерской позиции или позиции архитектора