Data Engineer в команду Data Platform

Для этого мы строим с нуля две вещи. Первая — self-serve платформа: это набор инструментов, шаблонов и автоматизации. С их помощью домен сам выкатывает свой data product без заявки в нашу команду. Вторая — федеративный governance: это единые правила по контрактам, качеству, доступам, метаданным и стоимости запросов. Эти правила применяются автоматически на уровне платформы.

Чем предстоит заниматься:

• Проектировать и строить self-serve платформу с нуля: путь домена от подключения источника до опубликованного data product без участия нашей команды.

• Автоматизировать жизненный цикл контрактов данных: описание схемы, версионирование, проверка обратной совместимости на CI, валидация данных на проде, генерация DDL и пайплайнов из контракта.

• Кастомизировать каталог данных и OpenMetadata под нашу модель: собственные сущности и custom properties, автоматическая регистрация data products, lineage от источника до витрины, связка каталога с контрактами, качеством и доступами, доработка API и UI под внутренние сценарии.

• Делать качество и наблюдаемость частью платформы: проверки данных, SLA на data products, алерты, метрики свежести и полноты, контроль стоимости запросов и хранения.

• Заходить в домены и работать вместе с их командами: разбирать модель данных, проектировать data products, переносить существующие пайплайны на платформу, доводить до production.

• Проводить обучения и онбординг доменов: воркшопы, документация, гайдлайны, разбор типовых ошибок, поддержка команд на первых итерациях.

• Работать с batch и streaming pipelines в production-среде.

Стек: PySpark, Airflow, ClickHouse, Trino, PostgreSQL, Kafka Connect, Debezium, Kubernetes, Iceberg, dbt, OpenMetadata.

Что для нас важно:

• Практический опыт в Data Engineering: Python, SQL, orchestration и production data pipelines.

• Опыт работы с Airflow или другими оркестраторами.

• Понимание batch и streaming processing, опыт работы со Spark / PySpark.

• Опыт работы с lakehouse- и аналитическим стеком: Trino/Presto, ClickHouse, Iceberg/Parquet/DeltaLake.

• Опыт с Kafka, Kafka Connect, Debezium или другими event streaming инструментами.

• Опыт разработки внутренних инструментов и сервисов, а не только пайплайнов: чистый код, тесты, CI/CD, Kubernetes.

• Инженерное мышление: умение думать про надёжность, стоимость, качество данных, поддержку и влияние изменений на пользователей.

• Умение работать с внутренними пользователями: собрать требования у домена, объяснить решение, провести обучение, написать документацию, которой будут пользоваться.

Будет плюсом: опыт с data contracts, каталогами данных (OpenMetadata, DataHub, Amundsen), data quality фреймворками, dbt, а также опыт участия во внедрении Data Mesh или похожей децентрализованной модели.

Почему это интересно:

• Платформа, контракты, автоматизация и governance проектируются сейчас, и вы будете влиять на то, какими они получатся.

• Даём широкую зону ответственности и возможность влиять на архитектурные решения, платформенные подходы и то, как команды внутри компании работают с данными.

• Здесь много сложных инженерных задач: надёжный streaming, CDC, Spark, Iceberg/Trino/ClickHouse, качество данных, наблюдаемость, стоимость запросов и production reliability.

• У нас современный стек: PySpark, Airflow, ClickHouse, Trino, PostgreSQL, Kafka Connect, Debezium, Kubernetes, Iceberg, dbt, OpenMetadata.

• Мы сохранили скорость и инициативность стартапа, но уже отстроили зрелые процессы: понятные цели, production-подход, ответственность за результат и прозрачную коммуникацию.

• Формируем измеримые цели всей командой и смотрим не только на факт выполнения задач, но и на их влияние на бизнес, пользователей данных и скорость работы продуктовых команд.

• Работаем в команде сильных специалистов, где ценится глубина экспертизы, инженерное мышление и способность предлагать улучшения.

• Команды слушают и слышат друг друга: мы работаем с бизнесом, аналитиками и продуктами как партнёры.