Data Engineer

Обязанности:

• Проектирование и развитие data-пайплайнов для обработки событий кибербезопасности;
• Нормализация и обогащение событий безопасности;
• Проектирование и оптимизация аналитического хранилища данных (ClickHouse / StarRocks / аналоги);
• Подготовка витрин данных под быстрые запросы и аналитику;
• Эксплуатация data сервисов в Kubernetes: деплой, ресурсы, отказоустойчивость, масштабирование;
• Обеспечение наблюдаемости и качества данных (метрики, алерты, replay/backfill);
• Участие в разборе инцидентов и оптимизации производительности data платформы.

• Опыт построения и эксплуатации data pipelines (ETL, ELT и/или streaming) в produckon среде;
• Уверенный SQL, включая оптимизацию запросов и анализ производительности;
• Опыт работы с OLAP-СУБД (ClickHouse/StarRocks/Druid/Pinot или аналоги);
• Понимание принципов потоковой обработки данных (идемпотентность, дедупликация, обработка ошибок);
• Опыт проектирования и оптимизации витрин и схем хранения данных; • Уверенные знания Kubernetes и опыт эксплуатации сервисов в produckon среде;
• Понимание принципов надежности, масштабирования и наблюдаемости data систем.

Будет плюсом:

• Helm, GitOps (ArgoCD / Flux), Terraform;
• Опыт работы со schema evolukon и data contracts;
• Практики data quality (валидации, контроль пропусков и объёмов данных.