Инженер по обеспечению надежности данных (Senior DataOps/Big Data Infrastructure Engineer)

Мы в поисках Big Data Infrastructure Engineer в команду по обеспечению надежности данных. Ты будешь участвовать в развитии и эксплуатации платформы данных компании. Поддерживать текущий контур в ЦОД и развивать новую платформу на базе Yandex Cloud.

Мы ищем специалиста с опытом эксплуатации распределенных data-систем, готового принимать инженерные решения, автоматизировать процессы, повышать надежность платформы данных и помогать DE, DWH, Analytics и DS-командам быстрее и безопаснее работать с данными.

Основной фокус роли - надежность, автоматизация, наблюдаемость, эксплуатационная зрелость и развитие платформенных возможностей для работы с данными.

Чем предстоит заниматься:

• Развивать и сопровождать текущую дата-платформу (Hadoop, Oracle, Vertica);
• Участвовать в построении Lakehouse-платформы на базе Yandex Cloud;
• Проектировать, разворачивать и сопровождать платформенные сервисы для обработки, хранения, оркестрации и доступа к данным;
• Автоматизировать эксплуатацию и развертывание инфраструктуры с использованием Terraform, Ansible, Helm и GitOps-подходов;
• Развивать Kubernetes-контур дата-платформы: workloads, операторы, изоляцию окружений, управление ресурсами, storage, ingress, секреты, мониторинг и диагностику проблем;
• Поддерживать и развивать системы оркестрации и выполнения data-пайплайнов: Airflow, Spark, Trino, JupyterHub и связанные компоненты;
• Развивать мониторинг и алертинг дата-платформы: доступность сервисов, задержки, ошибки, утилизация ресурсов, состояние пайплайнов, свежесть и качество данных;
• Участвовать в построении практик DataOps: проверка схем, контроль миграций, контроль качества и свежести данных, воспроизводимость поставки данных, управление изменениями;
• Обеспечивать надежную эксплуатацию платформенных компонентов в гибридной инфраструктуре;
• Оптимизировать производительность, устойчивость и стоимость инфраструктуры данных;
• Взаимодействовать с командами DE, DWH, Analytics, DS, MLOps, GenAIOps по вопросам стабильности, масштабируемости и развития дата-платформы;
• Исследовать новые инструменты и подходы в области DataOps, Lakehouse и Data Platform Engineering, оценивать их применимость и внедрять там, где это повышает надежность, скорость разработки или эффективность платформы.

Мы ожидаем:

• Опыт промышленной эксплуатации дата-платформ, распределенных систем хранения или обработки данных;
• Понимание архитектуры современных платформ данных: DWH, Data Lake, Lakehouse, OLAP, batch-обработка, оркестрация пайплайнов и сервисы доступа к данным;
• Опыт работы с системами обработки и доступа к данным: Airflow, Spark, Trino, JupyterHub или аналогичными решениями;
• Уверенный опыт работы с Linux: настройка, мониторинг, диагностика сетевых, файловых, ресурсных и производительных проблем;
• Опыт работы с Kubernetes, Helm и Docker в production окружениях;
• Опыт описания и автоматизации инфраструктуры на базе IaC: Terraform, Ansible, Helm, GitOps-подходы;
• Опыт работы с системами контроля версий и организации CI/CD: GitLab, Bitbucket, Bamboo или аналогичными решениями;
• Уверенное владение Python или другим языком для автоматизации, разработки внутренних инструментов и интеграций;
• Уверенный опыт работы с SQL и понимание принципов оптимизации запросов в аналитических системах;
• Понимание принципов эксплуатации распределенных систем: отказоустойчивость, масштабирование, балансировка нагрузки, управление ресурсами, резервирование и восстановление;
• Опыт настройки мониторинга и алертинга: Prometheus Stack, Grafana, Alertmanager, логи, метрики и технические дашборды;
• Опыт безопасной работы с секретами, токенами, сертификатами и чувствительными данными.

Будет плюсом:

• Опыт эксплуатации Hadoop, HDFS, Hive, YARN или смежных компонентов Big Data-платформ;
• Опыт эксплуатации Oracle, Vertica, ClickHouse, Trino, PostgreSQL или других аналитических и транзакционных хранилищ;
• Опыт работы с Yandex Cloud, S3-совместимыми хранилищами, managed-сервисами или гибридной инфраструктурой;
• Опыт работы с Kafka, Debezium или другими инструментами потоковой доставки данных;
• Опыт внедрения DataOps-практик: тестирование схем, миграций и пайплайнов, контроль свежести данных, data contracts, автоматические проверки качества.