Senior Data Platform Engineer / DevOps (Data Platform)

О роли:

Мы ищем опытного Senior Data Platform Engineer / DevOps для ключевой роли в создании и эксплуатации корпоративной Data Platform (Lakehouse) с нуля. Вам предстоит стать архитектором инфраструктуры, ответственным за миграцию данных и аналитики с legacy-стека (Hadoop) на современную платформу (S3 + OLAP), а также за построение отказоустойчивой, автоматизированной основы для всех data-сервисов компании.

Основные задачи:

- проектирование и развёртывание высокодоступной инфраструктуры для платформы данных на базе OpenShift (Kubernetes на bare-metal): S3-хранилище (MinIO/Ceph), OLAP (StarRocks/Doris), оркестрация (Apache NiFi, Airflow), мониторинг;

- организация и настройка конвейеров для миграции данных из legacy-систем (Hadoop HDFS/Hive, Greenplum, Kafka, PostgreSQL) на новую платформу. Взаимодействие с командой поддержки Hadoop;

- настройка сквозного мониторинга (Prometheus/Grafana), логирования (Loki/ELK) и алертинга для инфраструктуры и бизнес-метрик data-пайплайнов. Обеспечение отказоустойчивости, безопасности (RBAC, OAuth, Vault) и процедур восстановления;

- внедрение принципов «Infrastructure as Code» и GitOps (Terraform, Ansible, Helm, ArgoCD) для автоматизации развёртывания, конфигурации и обновления сервисов;

- эксплуатация и оптимизация производительности, стоимости и масштабируемости платформы. Консультирование data-инженеров по возможностям инфраструктуры;

- участие в развитии платформы: внедрение инструментов Data Quality (Great Expectations/dbt), обработки данных (Spark/Trino), проработка решений в рамках Data Mesh и Data Governance.

Наши ожидания:

- опыт от 4 лет в ролях DevOps / Platform / Data Engineer с фокусом на инфраструктуру для данных;

- глубокий практический опыт развёртывания и поддержки OpenShift/Kubernetes на bare-metal в production-средах;

- опыт администрирования и настройки Apache NiFi и/или Apache Airflow для построения ETL-процессов;

- опыт работы с S3-совместимыми хранилищами (MinIO, Ceph) и stateful-сервисами (БД, очереди) в production;

- понимание экосистемы Big Data и опыт интеграции с Hadoop (HDFS, Hive) и Kafka;

- навыки построения систем мониторинга для data-платформ на Prometheus/Grafana (от инфраструктуры до пайплайнов);

- продвинутые навыки автоматизации через Ansible, Terraform, Helm;

- готовность быть «последней линией обороны» платформы, работать в условиях миграции с legacy-систем и принимать архитектурные решения;

- умение работать в кросс-функциональной команде, консультировать коллег и документировать решения.

Будет серьёзным преимуществом:

- опыт глубокой настройки и тюнинга OLAP-систем (StarRocks, Doris, ClickHouse), Apache Spark, Trino;

- знание концепций Data Lakehouse, Data Mesh, Data Governance;

- опыт работы в регулируемых отраслях (финансы, телеком, госсектор);

- сертификации: CKA/CKAD, OpenShift;

- умение разрабатывать Kubernetes Operators (Go, Python).

Что мы предлагаем:

• официальный доход - оклад + бонус квартальный и годовой; условия с успешным кандидатом готовы обсуждать индивидуально;
• ДМС со стоматологией и международная страховка;
• кафетерий льгот (компенсация ОСАГО, спортивного инвентаря, ДМС близким родственникам и многое другое);
• гибридный график работы;
• офис находится в центре в шаговой доступности от ст. м. Новокузнецкая;
• заряженная команда полного цикла;
• возможность профессионального и карьерного роста.