Инженер данных

Freedom Telecom - современная телекоммуникационная компания, развивающая на рынке Республики Казахстан широкополосный доступ к сети интернет в каждый дом и открытый доступ Wi-Fi в крупных городах. Мы работаем в тесном сотрудничестве с мировыми производителями оборудования - программного обеспечения.

Чем предстоит заниматься:
- Четкое понимание различных типов архитектур построения DWH;
- Разработка и поддержка Apache Spark jobs для ETL-процессов;
- Оптимизация производительности Apache Spark jobs путем настройки конфигураций и разбиения данных на раздел, для повышения производительности и масштабируемости;
- Эффективное решение задач очистки и агрегирования данных с помощью Apache Spark;
- Очистка и агрегирование данных с помощью Apache Spark, пакетная обработка данных с помощью Spark;
- Выполнение пакетных заданий с помощью Apache Airflow;
- Проектирование модели данных, выбор платформы хранилища данных, создание объектов схемы и определение ETL-процессов;
- Использование Apache Airflow для оркестровки и автоматизации конвейеров обработки данных ELT/ETL;
- Управление миграциями БД с Liquibase;

Знания, навыки, важные для этой позиции:
- Стек технологий (для IT) Python, SQL, Greenplum, Oracle, HDFS, S3;
- Знание ПО Engineering: Apache Airflow, Apache Spark, PySpark;
- Базы данных: Oracle, Greenplum;
- Брокеры сообщений: Kafka, RabbitMQ Системы контроля версий GitLab, Liquibase.

Что мы предлагаем:
- График 5/2, с 9:00 до 18:00;
- Привилегии от экосистемы Freedom Holding;
- Экстра days off, помимо отпускных и больничных;
- Материальная помощь по памятным событиям;
- Самые инновационные, амбициозные проекты и задачи.