Senior / Lead Data Engineer

Наш заказчик - лидер fintech рынка - высоконагруженный продукт, маркетинг и риски в real-time. Данные - критически важная часть бизнеса: от них зависит масштабирование, управление рисками, маркетинговая эффективность и доверие к цифрам на уровне C-level.

Сейчас продукт вырос до точки, где нужно: навести порядок в архитектуре, стандартизировать подходы, усилить контроль качества данных, подготовить фундамент под дальнейший рост (продукт, маркетинг, ML), и под эту задачу ищем Senior / Lead Data Engineer.

Зона ответственности

Это архитектурная и лидерская позиция. Вы будете:

• Проектировать и развивать архитектуру дата-платформы, находя баланс между сложностью, масштабируемостью и cost-efficiency
• Делать аудит текущих решений, предлагать улучшения и стандартизировать архитектуру
• Проектировать и развивать ETL / ELT пайплайны (batch + streaming, near real-time)
• Работать с большими объёмами данных: продукт, маркетинг, веб-аналитика, риски
• Строить аналитические слои: DWH, витрины, семантические модели
• Настраивать мониторинг, алерты, контроль качества данных (data reliability = business risk management)
• Писать и поддерживать сервисы на Python (в т.ч. data-сервисы)
• Участвовать в архитектурных решениях, code review, техническом менторинге
• Работать напрямую с аналитиками, маркетингом и продуктом
• Постепенно усиливать команду (в подчинении 1 инженер, участие в дальнейшем найме)

Что важно
Обязательное:

• 5+ лет опыта в Data Engineering, уровень Senior или Lead
• Реальный опыт проектирования и развития DWH / дата-платформ
• Отличный SQL (сложные витрины, аналитические запросы)
• Продакшен-опыт с Python
• Опыт работы с Airflow, dbt, OpenMetadata
• Опыт запуска и поддержки batch и streaming пайплайнов
• Понимание, как работают распределённые системы и где они ломаются
• Опыт работы с cloud-инфраструктурой (GCP — большой плюс)
• Опыт настройки CI/CD, мониторинга, алертов, data quality checks
• Умение принимать архитектурные решения и нести за них ответственность

Будет большим плюсом:

• Опыт с streaming-архитектурами и real-time обработкой
• Опыт в маркетинговой или продуктовой аналитике
• ML-инфраструктура: feature pipelines, MLflow, Kubeflow
• Data governance, metadata, data lineage
• Опыт работы с high-load системами

Технологический стек

• Хранилища и БД: BigQuery, ClickHouse, PostgreSQL, MySQL, Greenplum
• Пайплайны: Airflow, dbt, OpenMetadata
• Языки: Python, SQL
• Streaming / CDC: Kafka, Debezium
• Big Data: Spark / PySpark
• Infra: Kubernetes, Terraform
• Monitoring: Prometheus, Grafana, ELK
• CI/CD: GitLab CI
• ML: MLflow, Kubeflow
• Интеграции: Jitsu

Условия

• 4000 - 8000 USDT (зависит от уровня компетенций успешного кандидата), отпуска, больничные
• Большое влияние на бизнес, плотное взаимодействие с СМО
• Возможность пересобрать архитектуру
• Реальная возможность вырасти в сторону Lead / Head / CDO-трека
• Удаленная работа
• Правда классная и очень сильная команда 🫶

Пожалуйста, при отклике оставляйте ссылку на телеграм аккаунт, это поможет быстрее связаться с вами