Lead Data Engineer

Мы только начинаем развивать DLH систему для всей IT инфраструктуры 21vek.by.
Сейчас есть команда из 3 человек и база в виде Data Lake House для 1 источника данных.
В нашу команду ищем руководителя подразделения или сильного инженера, который поможет развивать и масштабировать опыт. В первую очередь для удобства работы ML команд.
Наш стек технологий: Kafka, S3, Delta.io, Spark (4.01), ClickHouse, Airflow

Какие задачи предстоит решать:

• Управление командой разработчиков

• Управление производительностью систем хранения и скоростью доступа

• Формирование и оптимизация инфраструктуры для сбора данных

• Выстраивание процесс контроля качества и целостности данных

• Планирование масштабирования мощностей хранения

• Проектирование витрин хранения данных

Наши ожидания:

• Опыт работы от 2-х лет

• Опыт проектирования DWH/DataLake/Data Vault и подобных систем

• Уверенные знания СУБД и SQL

• Знания ETL инструментов (Airflow, Kafka, Spark, dbt)

• Понимание устройства OLTP/OLAP систем

• Понимание подходов к качеству данных, тестированию и мониторингу

• Умение работать с бизнесом и формулировать требования

Будет плюсом:

• Опыт подготовки данных для ML специалистов

• Масштабирование инфраструктуры

• Модернизация и ускорение готовых решений

• ClickHouse

• Контейнеризация

• Опыт в ecommerce компаниях

Что мы предлагаем:

• Официальное трудоустройство по ТК РБ (25 календарных дней отпуска + 4 days-off в год)
• Формат работы - офис (по адресу: пр-т Победителей, 100)/ удаленно/ гибрид - на выбор
• Предоставляем технику, необходимую для работы
• Зарплата по результатам собеседования (привязка к $)
• Развитие и обмен опытом внутри команды, обучение и сертификация за счет компании
• Льготное медицинское страхование для сотрудников компании и членов их семьи
• Предоставляем возможность подключиться к программе AllSports - универсальному спортивному абонементу для сотрудников и членов их семьи

• Самая большая партнерская программа скидок и бенефитов для сотрудников в Беларуси - Benefits.by

• Скидки по корпоративной программе лояльности

• Частичная компенсация спорта
• Профсоюзная организация
• Корпоративные мероприятия за счет компании

До встречи в 21vek.by!

Ссылка на вакансию в банке вакансий на gsz.gov.⁣by: https://gsz.gov.by/registration/employer/vacancy/1741996/detail-public/