Middle Data Engineer

Dreamlab Technologies - Казахстанская IT-компания,специализирующаяся на заказной разработке и внедрении цифровых решений в различных отраслях экономики.

Обязанности:
Разработка и поддержка ETL/ELT пайплайнов на Python

Интеграция данных из различных источников (API, базы данных, файлы, облачные хранилища)

Работа с хранилищами и базами данных (PostgreSQL, MySQL, ClickHouse и др.)

Настройка и сопровождение процессов в Airflow (или аналогичных инструментах)

Оптимизация производительности пайплайнов и SQL-запросов

Участие в проектировании архитектуры data-инфраструктуры

Сотрудничество с аналитиками, разработчиками и Data Science командой

Требования:
Опыт работы в роли Data Engineer или Python-разработчика от 2 лет

Уверенное знание Python 3.x, умение писать чистый, поддерживаемый код

Практический опыт работы с ETL/ELT процессами

Хорошее знание SQL, опыт работы с реляционными базами данных

Опыт работы с системами оркестрации задач (Airflow, Prefect или др.)

Опыт работы с Apache Spark, Data Lake / Data Warehouse, Kafka.

Опыт работы с системами контроля версий (Git) и контейнерами (Docker)

Будет плюсом:

Знание архитектуры Data Lake / Data Warehouse

Опыт работы с облачными платформами (AWS, GCP, Яндекс Облако)

Знакомство с CI/CD, мониторингом и логированием пайплайн

Условия:
Официальное трудоустройство
Оборудование и софт
Конкурентоспособную заработную плату.
Дружелюбный и профессиональный коллектив.
Возможности для профессионального роста и развития.