Инженер данных

Показать контакты

Описание вакансии

Обязанности:

Проектировать и разрабатывать DWH и процессы ETL/ELT:
собирать данные, из различных источников, такие как: SAP, MES, АСУТП и т.д.;
Настраивать загрузку данных и их движение между инструментами, создавать пайплайны – процессы движения данных от источника к нужному месту;
Структурировать данные так, чтобы они стали пригодны для аналитики
Разрабатывать эффективные схемы хранения данных для повышения производительности запросов и минимизации избыточности информации
Подготавливать витрины данных и предоставлять доступ аналитикам.
Обеспечивать качество, стабильность и доступность данных
Очищать данные, убирать дубли и устранять ошибки
Обнаруживать и описывать происхождение данных
Реализовать методы аутентификации, авторизации и шифрования для гарантии, что доступ к данным имеют только уполномоченные пользователи
Следить за работой системы, мониторить нагрузку на инфраструктуру и предпринимать действия для предотвращения сбоев
Внедрять улучшения и оптимизацию для подготовки данных
Совершенствовать используемые инструменты и искать способы улучшения и автоматизации существующих процессов обработки данных для ускорения доступа к информации.

Требования:

Высшее техническое образование. Опыт работы в области построения корпоративного хранилища данных (DWH), инженерии данных не менее 3 лет.
Опыт в построении пайплайнов больших данных, в промышленной разработке DWH и процессов ETL/ELT.
Умение оптимизировать структуры данных и производительность запросов, подготавливать витрины данных и решать задачи в области обработки данных.
Умение выстраивать процессы валидации и безопасности данных.
Основной стек, с которым предстоит работать:
Greenplum, Clickhouse, S3, Polars
AirFlow, Informatica Power Center, NiFi, DBT
Open Metadata
Знание реляционных СУБД ( MS SQL, PostgreSQL) Знание SQL Знание и опыт работы с ETL инструментами Знание облачного хранилища s3 Знания Airflow и достаточный уровень Python

Условия:

Участие в амбициозных проектах Одного из мировых лидеров ГМК - Eurasian Resources Group (ERG) .
Условия по рынку.
Непрерывные инвестиции в развитие команды.
Корпоративные мероприятия, собственные спортивные команды по волейболу, футзалу, шахматам и т.п., мероприятия для детей.
Дружный коллектив и здоровую корпоративную культуру.
Обучение и участие в конференциях за счет работодателя.
Кофе, печенье, настольные теннис и футбол, спортзал, зоны отдыха в современном офисе.

Посмотреть контакты работодателя