Data Engineer middle/senior

Состав задач:

• Подключаться к источникам бизнеса (ERP/CRM/биллинги/лог-шины/API), консолидировать разрозненные данные.
• Строить и поддерживать надёжные конвейеры (батч/стриминг) с оркестрацией, мониторингом и алертингом.
• Готовить «ML-готовые» датасеты и фичи: схемы, слои, форматы, версионирование.
• Обеспечивать хранение: проектировать DWH/даталейк/лейкхаус, индексацию, партиционирование, компрессию.
• Настраивать data quality/контракты данных (валидации, тесты, SLA)
• Оптимизировать стоимость и производительность: планирование ресурсов, профилирование, кэш/материализация.
• Интегрировать ML/LLM-пайплайны: оффлайн/онлайн фичи, фичастор, подготовка корпусов для RAG, векторные БД.

Основные требования и обязанности:

• 3+ лет в data-инженерии: проектирование и эксплуатация конвейеров данных (батч/стриминг).
• Уверенный SQL (аналитический, оконные функции, оптимизация) и Python для пайплайнов/утилит.
• Опыт с Airflow (DAG, зависимости, сенсоры, SLA, retries)
• Проектирование слоёв данных и форматов, S3-совместимые стораджи
• Практика data quality (тесты, профили, контракты)
• Понимание ML-пайплайнов на уровне подготовки признаков/датасетов для обучения и сервинга.

• Базовая безопасность данных