Data Engineer/Дата инженер

В IT компании открыта вакансия Data Engineer/Дата инженер.

Обязанности:

Построение потоков данных для хранилища;

Оптимизация выгрузок данных из систем источников;

Реализация трансформаций в целевые модели данных хранилища;

Выгрузка данных в другие системы для дальнейшей обработки;

Реализация сверочных отчетов.

Требования:

Опыт работы в области разработки хранилищ больших данных не менее 2 лет;

Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных;

Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем;

Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT;

Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ;

Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP BO etc;

Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Pyton;

Опыт использования инструментом трансформации данных (DBT, Spark, Pyton);

Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql);

Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB);

Опыт построения хранилищ для финансового сектора;

Опыт работы с инструментами DataGovernance;

Опыт в области проектирования схемы данных, баз данных и хранилищ;

Опыт работы с платформами больших данных(напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio);

Опыт интергации с технологиями CDC (GoldenGate, Informatica, Debezium)