Алматы, проспект Аль-Фараби, 77/7
Метро: АбаяРеализовывать и поддерживать ETL / ELT-пайплайны по существующим шаблонам и стандартам;
Подключать новые источники данных в уже выстроенную архитектуру;
Поддерживать batch-, streaming- и CDC-интеграции;
Обеспечивать корректность, воспроизводимость и стабильность загрузок;
Обрабатывать ошибки загрузок, настраивать ретраи и backfill;
Работа с Greenplum: Загружать и трансформировать данные в Greenplum;
Работать с витринами и слоями хранилища данных;
Использовать существующие правила партиционирования и распределения данных;
Оптимизировать SQL-запросы и загрузки в рамках текущей модели данных;
Airflow: Разрабатывать и сопровождать DAG’и в Airflow;
Использовать TaskFlow API Работать с зависимостями, backfill и обработкой ошибок;
Поддерживать стабильность и корректность выполнения пайплайнов;
FastAPI сервисы: Разрабатывать и поддерживать сервисы на FastAPI для: API-доступа к данным webhook’ов и callback’ов интеграции с внешними системами;
Работать с Pydantic, асинхронными эндпоинтами и базами данных CDC и стриминг;
Работать с существующими CDC-интеграциями на базе Debezium и Kafka;
Поддерживать консьюмеры и загрузку изменений в DWH;
Участвовать в подключении новых источников по готовым паттернам Data Quality и BI;
Реализовывать и поддерживать проверки качества данных: полнота дубликаты консистентность;
Участвовать в разборе инцидентов, связанных с данными Взаимодействовать с аналитиками и BI-разработчиками при поддержке витрин и Qlik Sense.
Высшее образование в сфере ИТ, математики, инженерии или смежных областях;
Опыт работы от 1,5 до 4 лет в data engineering, backend или аналитических системах;
Уверенное владение SQL: CTE оконные функции работа с большими таблицами;
Уверенные навыки Python: ETL-логика работа с API автоматизация;
Практический опыт работы с Airflow;
Опыт работы с Greenplum или другими аналитическими СУБД;
Практический опыт разработки сервисов на FastAPI: REST API Pydantic асинхронная обработка;
Опыт работы с Kafka, Debezium или аналогичными CDC / стриминговыми инструментами;
Понимание принципов batch- и streaming-обработки данных;
Опыт работы с BI-инструментами как потребителями данных (Qlik Sense или аналоги);
Будет плюсом: Опыт работы с Docker, CI/CD (GitLab CI) и опыт мониторинга data-пайплайнов, базовое понимание принципов надежности и отказоустойчивости data-систем.
Алматы
до 800000 KZT