Data Engineer (Middle/Senior)

О проекте

Ищем Data Engineer в команду, которая развивает платформу данных: сбор, обработка, хранение и предоставление данных для аналитики, продуктовых команд и ML. Важно уметь строить надёжные пайплайны, следить за качеством и работать с большими объёмами данных.

Задачи

• Проектировать и развивать ETL/ELT-пайплайны (batch и/или streaming).

• Интегрировать данные из разных источников: базы, API, файлы, очереди/стримы.

• Развивать слой хранения: DWH/Data Lake/Lakehouse, витрины данных, моделирование.

• Обеспечивать качество данных: проверки, мониторинг, алерты, SLA.

• Оптимизировать производительность запросов и пайплайнов (партиционирование, индексы, кластеры, форматы).

• Автоматизировать деплой и поддержку (CI/CD, инфраструктура, наблюдаемость).

• Взаимодействовать с аналитиками, ML и продуктом: уточнение требований, data contracts.

Требования

Обязательно:

• Коммерческий опыт Data Engineering от 3 лет

• Сильный SQL (сложные запросы, оптимизация, оконные функции).

• Уверенный Python для обработки данных и разработки пайплайнов.

• Понимание архитектуры хранилищ данных: DWH / Data Lake / Lakehouse, принципы моделирования.

• Опыт с одним или несколькими инструментами оркестрации/ETL: Airflow / Dagster / Prefect / dbt.

• Опыт работы с одной или несколькими СУБД/движками: PostgreSQL / ClickHouse / Greenplum / BigQuery / Snowflake / Redshift / Hive/Trino

• Базовые практики разработки: Git, код-ревью, тестирование, документация.

Будет плюсом:

• Streaming: Kafka / Pulsar, Spark Structured Streaming, Flink.

• Big Data: Spark, Trino/Presto, Hadoop-экосистема.

• Облака: AWS/GCP/Azure, IaC (Terraform).

• Data Quality: Great Expectations/Soda, lineage/catalog (DataHub/Amundsen), observability.

• Опыт проектирования платформы данных, data governance, data contracts.

• Опыт с Docker/Kubernetes.

  Этапы:

• Скрининг (30 минут);
• Собеседование техническое (1 час 30 минут).
  
  Условия:
• Работу в динамичной и инновационной аккредитованной IT-компании;
• Возможности для профессионального роста и обучения;
• Дружный и поддерживающий коллектив;
• Конкурентоспособную заработную плату;
• Гибкий график работы и возможность удаленной работы;
• Интересные проекты и задачи, которые помогут развиваться в области системного анализа и IT.

Пожалуйста, к отклику приложите короткий самоскрининг (можно прямо в сопроводительном письме). Это сильно ускорит рассмотрение.

• Опыт Data Engineering / DWH (лет) + основной стек (SQL + Python/др.).

• Где работали с данными: источники → DWH → витрины (кратко, что строили/поддерживали).

• Какая платформа/хранилище и инструменты ETL/оркестрации (любые).