Senior Data Engineer
Senior Data Engineer
Алматы, проспект Аль-Фараби, 77/7
Метро: АбаяОписание вакансии
Обязанности:
- Проектировать, развивать и поддерживать ETL / ELT-пайплайны для загрузки и трансформации данных из различных источников;
- Строить и оптимизировать архитектуру хранилища данных (Greenplum): схемы, витрины, партиционирование, распределение данных;
- Разрабатывать и сопровождать DAG’и в Airflow (TaskFlow API, динамические пайплайны, ретраи, SLA, мониторинг);
- Разрабатывать и поддерживать сервисы на FastAPI для: реализации API-интерфейсов к данным и витринам интеграции с внешними системами и микросервисами реализации webhook’ов, callback’ов, CDC-эндпоинтов;
- Настраивать и поддерживать CDC-интеграции с использованием Debezium, Kafka или аналогичных инструментов;
- Проектировать стриминговые и батч-потоки данных, обеспечивать их устойчивость и масштабируемость Использовать PXF для интеграции Greenplum с внешними источниками данных (PostgreSQL, файловые системы, object storage и др.);
- Оптимизировать производительность загрузок, запросов и структуры хранения данных;
- Обеспечивать качество данных (DQ): контроль полноты, консистентности, дедупликации и SLA загрузок;
- Взаимодействовать с аналитиками и BI-разработчиками при проектировании витрин и источников данных;
- Участвовать в стандартизации пайплайнов, код-ревью и развитии инженерных практик Документировать архитектуру, процессы и принятые технические решения.
- Высшее образование в сфере ИТ, математики, инженерии или смежных областях;
- Опыт работы от 3 лет, участие в построении или развитии корпоративных DWH / Data Platform;
- Отличное владение SQL (оптимизация запросов, работа с большими объёмами данных, понимание MPP-архитектур);
- Уверенные навыки Python (ETL-логика, автоматизация, работа с API);
- Практический опыт работы с Airflow Опыт работы с Greenplum, понимание принципов MPP, партиционирования и распределения данных;
- Практический опыт разработки сервисов на FastAPI: проектирование REST API валидация данных (Pydantic) асинхронная обработка интеграция с БД и внешними сервисами;
- Опыт построения CDC / стриминговых пайплайнов (Debezium, Kafka или аналогичные решения);
- Понимание архитектуры событийных систем и потоковой обработки данных;
- Опыт взаимодействия с BI-инструментами как потребителями данных (Qlik Sense).
- Профессиональный коллектив;
- Неограниченный рост;
- Скидки на фитнес, подарки на праздники и дни рождения;
- Бонусы и уникальные предложения от компаний холдинга;
- Спонсирование профессионального обучения;
- Насыщенная корпоративная жизнь с выездами на природу, праздничными мероприятиями в офисе, играми и розыгрышами подарков.
Навыки
- Python
- SQL
- PostgreSQL
- Greenplum
- ETL
- Apache Kafka
- Qlik Sense
- DWH
- Apache NiFi