Старший Инженер Данных

Мы ищем Senior Data Engineer для участия в крупном технологическом проекте в финансовом секторе. Проект связан с развитием платформы обработки и анализа больших объемов клиентских данных и ее переводом в промышленную эксплуатацию.

Специалист присоединится к команде разработки и будет отвечать за построение надежных ETL-процессов, автоматизацию обработки данных, внедрение оркестрации и подготовку решения к стабильной работе в production-среде.

Подробная информация о компании и проекте предоставляется кандидатам на следующих этапах отбора.

Обязанности

• Разработка и оптимизация процессов обработки больших объемов данных с использованием Apache Spark, PySpark и SQL.
• Построение и развитие многостадийных ETL-пайплайнов, включая обеспечение их идемпотентности и восстановление после сбоев.
• Внедрение и настройка оркестрации пайплайнов с использованием Airflow, Dagster или Prefect.
• Работа с OLAP-СУБД, оптимизация массовой загрузки и батчевой обработки данных.
• Интеграция данных из внутренних и внешних источников.
• Участие в переводе решения в промышленную эксплуатацию, включая автоматизацию, мониторинг и взаимодействие с ML- и DevOps-командами.

Требования

• Опыт работы Data Engineer от 5 лет, включая не менее 3 лет промышленной работы с Apache Spark и PySpark.
• Опыт работы с большими объемами клиентских данных в банковской, финтех- или телеком-сфере от 2 лет.
• Экспертное владение SQL: оптимизация сложных аналитических запросов, оконные функции, партиционирование и батчевая обработка больших выборок.
• Уверенное владение Python и инструментами обработки данных: pandas, pyarrow, Parquet.
• Опыт построения отказоустойчивых многостадийных ETL-пайплайнов, включая идемпотентность, восстановление после сбоев и контроль потребления памяти.
• Практический опыт работы с OLAP-СУБД, массовой загрузкой данных и системами оркестрации, такими как Airflow, Dagster или Prefect.

Условия

• Участие в крупном технологическом проекте в финансовом секторе.
• Работа с высоконагруженными системами и большими объемами данных.
• Контракт сроком на 1 год.
• Офисный формат работы с релокацией в Узбекистан.
• Итоговое предложение определяется по результатам интервью и зависит от опыта и технической экспертизы кандидата.
• Работа в команде опытных Data Engineering, Machine Learning и DevOps-специалистов.