Data Engineer

О проекте
Вы присоединитесь к проекту одной из ведущих международных консалтинговых компаний, которая сотрудничает с крупнейшими организациями по всему миру.
Проект направлен на разработку высоконагруженной платформы обработки данных для кредитного скоринга. Команда создаёт корпоративную платформу данных, предназначенную для обработки больших объёмов данных, автоматизации ETL-процессов и развития аналитической инфраструктуры.

Чем предстоит заниматься
- Регулярно запускать и поддерживать production-пайплайны обработки данных;
- Мониторить стабильность пайплайнов и расследовать причины сбоев;
- Поддерживать процессы регламентного переобучения моделей;
- Разрабатывать и поддерживать многостадийные ETL-пайплайны;
- Работать с OLAP-СУБД и механизмами массовой загрузки данных;
- Подготавливать и поддерживать операционную отчётность;
- Работать с большими объёмами клиентских и аналитических данных;
- Взаимодействовать с командами Data Engineering, Machine Learning и DevOps.

Требования
- 4+ года опыта в Data Engineering;
- Опыт работы с большими объёмами клиентских данных, желательно в банках, финтехе или телекоме;
- Уверенный SQL: оптимизация тяжёлых аналитических запросов; оконные функции; партиционирование; батчевая обработка; работа с большими выборками и контроль OOM;
- Практический опыт работы с OLAP-СУБД;
- Понимание и практический опыт массовой загрузки данных (Stream Load, bulk insert или аналогичные механизмы);
- Уверенный Python, включая PySpark, pandas, pyarrow, Parquet;
- Опыт построения многостадийных ETL-пайплайнов;
- Понимание и применение идемпотентности при обработке данных;
- Опыт реализации механизмов восстановления после сбоев;
- Практический опыт работы с системами оркестрации: Airflow, Dagster, Prefect или аналогичными;
- Опыт интеграции разнородных внешних источников данных будет преимуществом.

Мы предлагаем
- Возможность работать над масштабным проектом в сфере финансовых технологий;
- Сложные технические задачи, связанные с высоконагруженными системами и большими объёмами данных;
- Работу в опытной команде Data Engineering, Machine Learning и DevOps;
- Конкурентоспособную заработную плату в зависимости от опыта и технической экспертизы.