Data Engineer

Мы развиваем аналитическую платформу и хранилище данных для сервисов аналитики e-commerce. Ищем Data Engineer, который поможет нам развивать DWH, проектировать высоконагруженные ETL/ELT-процессы и строить витрины данных для BI и внутренних сервисов.

Чем предстоит заниматься:

• Проектировать и развивать слои DWH (Raw, Staging, Data Marts).

• Разрабатывать и поддерживать распределенные пакетные и инкрементальные пайплайны обработки данных на Apache Spark.

• Организовывать репликацию и синхронизацию данных между источниками (PostgreSQL, ClickHouse, S3).

• Писать и оптимизировать сложные SQL-запросы, хранимые процедуры и витрины данных.

• Настраивать мониторинг пайплайнов, отслеживать качество и актуальность данных (Data Quality).

• Взаимодействовать с BI-разработчиками и аналитиками.

Что мы ждем от кандидата:

• Apache Spark: практический опыт разработки пайплайнов обработки больших объемов данных (PySpark / Spark SQL), понимание архитектуры Spark (RDD, DataFrame, DAG, стейдж/таски) и методов оптимизации (shuffle, partitioning, caching).

• SQL: уверенное владение DDL/DML, оконными функциями, понимание планов выполнения запросов и методов оптимизации.

• Базы данных: опыт работы с PostgreSQL и ClickHouse (понимание движков таблиц, партиционирования, агрегаций).

• Оркестрация: опыт работы с Apache Airflow (написание DAG, custom operators, управление зависимостями).

• Python: уверенное владение языкoм для разработки пайплайнов, работы с API и объектными хранилищами.

• Инфраструктура: базовые навыки работы с Linux, Git, Docker, Bash.

Будет плюсом:

• Опыт работы со стеком dbt или Trino / Presto.

• Опыт работы с S3 / Yandex Object Storage.

• Понимание архитектуры и проектирования аналитических витрин для Power BI / Superset.

Что мы предлагаем:

• Оформление по ТК РФ / ИП / СЗ.

• Полностью удаленный формат работы с гибким началом дня.

• Адекватные процессы без бюрократии, современный стек инструментов.

• Профессиональный рост и сложные инженерные задачи.