Senior Data Engineer

Senior Data Engineer

Мы ищем опытного Senior Data Engineer, способного самостоятельно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных.

Вашей ключевой задачей станет развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), построение батчевых и потоковых пайплайнов, а также наведение порядка в унаследованных процессах.

🎨 Чем предстоит заниматься (Обязанности):

• Оркестрация и пайплайны: проектирование, разработка и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow.

• Аналитические витрины (ClickHouse): развитие витрин для риск-отчётности и систем принятия решений (финансовые и поведенческие метрики).

• Streaming & ODS:

  • Построение потоковой доставки данных через Apache Kafka (near real-time).

  • Развитие ODS на PostgreSQL: интеграция данных с бэкенда продукта, проектирование схем, настройка инкрементальной загрузки.

• Оптимизация баз данных: тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов).

• Data Storage: работа с объектными хранилищами (S3 / MinIO) как слоем хранения.

• Рефакторинг и ревизия: аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, явное распределение зон ответственности за процессы.

• Data Quality & SLA: настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и выдерживание SLA).

• Кросс-функциональная работа: взаимодействие с Data Science, аналитиками и backend-разработчиками (согласование контрактов данных, подготовка данных для ML-моделей).

🎯 Что для нас важно (Требования):

• Языковой стек: отличное знание Python и SQL.

• ETL/ELT в Production: уверенный опыт создания и поддержки пайплайнов, отличные знания Apache Airflow (обязательно).

• ClickHouse: проектирование аналитических витрин и оптимизация сложных запросов на больших объемах данных.

• Реляционные БД & ODS/DWH: глубокие знания PostgreSQL / MySQL, опыт оптимизации БД и построения ODS/DWH поверх операционных источников.

• Senior-автономия: умение самостоятельно вести направление данных, в одиночку держать пайплайны, правильно расставлять приоритеты и доводить задачи до результата.

• Архитектура: понимание принципов проектирования отказоустойчивых и масштабируемых систем.

• Культурный код: привычка фиксировать правила, схемы данных, зоны ответственности и вести runbook'и.

Будет большим преимуществом:

• ⭐️ Опыт работы с Apache Kafka (продюсеры, потребители, схемы).

• ⭐️ Опыт работы с S3 / MinIO и Apache NiFi.

• ⭐️ Опыт миграции пайплайнов и наведения порядка в унаследованном технологическом ландшафте.

• ⭐️ Бэкграунд в сферах FinTech, платежах или AntiFraud.

• ⭐️ Навыки настройки CI/CD для дата-инженерии и подходы IaC (Infrastructure as Code).

🚀 Что мы предлагаем (Условия):

• Уровень свободы: высокая автономность в принятии технических решений без микроменеджмента.

• Современный стек: Airflow, ClickHouse, Kafka, PostgreSQL, S3/MinIO, Python.

• Формат работы: 100% удаленка.

📩 Как откликнуться:

В сопроводительном письме, пожалуйста, укажи:

1. С какими объемами данных в ClickHouse / Postgres приходилось работать?

2. Был ли у тебя опыт самостоятельного ведения дата-инфраструктуры (в качестве единственного Data Engineer / Lead)?

3. Есть ли опыт работы с Kafka и финтех/риск-метриками?