Ведущий инженер по эксплуатации Data Lake / DevOps

Сопровождение Big Data Platform (BDP) — внутренней платформы данных банка, используемой дата-инженерами и аналитиками для сбора, хранения и обработки больших объёмов данных из различных источников.

Платформа обеспечивает работу с данными для построения аналитической и BI-отчётности, дашбордов и внутренних сервисов. В её основе — архитектура Data Lake / Lakehouse и технологии S3 Object Storage, Kubernetes, Apache Spark, Airflow, Flink и Kafka.

Команда отвечает за стабильность и доступность инфраструктуры платформы, производительность хранилищ и устранение возникающих инцидентов. Один из ключевых компонентов — высоконагруженное S3-хранилище, обрабатывающее сотни терабайт данных ежедневно.

Чем предстоит заниматься:

• Сопровождение и эксплуатация внутренней Big Data Platform (BDP)
• Обеспечение стабильной работы компонентов Data Lake / Lakehouse
• Администрирование и поддержка высоконагруженной инфраструктуры S3 / Object Storage
• Сопровождение Kubernetes-платформы и развёрнутых в ней компонентов обработки и хранения данных
• Эксплуатация и администрирование Apache Spark, Airflow, Flink, Kafka, Apache Iceberg
• Мониторинг состояния платформы, анализ метрик и логов, контроль доступности и производительности сервисов
• Диагностика и устранение инцидентов, связанных с производительностью и отказоустойчивостью инфраструктуры
• Анализ и оптимизация CPU, RAM, сетевых ресурсов, дисковой подсистемы, задержек и пропускной способности
• Проведение RCA, подготовка postmortem и реализация мероприятий по повышению надёжности платформы
• Автоматизация эксплуатационных процессов и рутинных операций
• Взаимодействие с командами Data Engineering и инфраструктуры по вопросам эксплуатации и развития платформы

Наши пожелания к кандидатам:

• Экспертный опыт администрирования Linux
• Опыт сопровождения высоконагруженных распределённых систем
• Глубокое понимание S3 / Object Storage и архитектуры распределённых хранилищ
• Практический опыт эксплуатации Kubernetes-платформ
• Опыт администрирования и сопровождения компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg
• Практический опыт эксплуатации MinIO или других решений Object Storage
• Понимание принципов репликации, erasure coding, consistency и fault tolerance
• Практический опыт диагностики проблем производительности: CPU, RAM, network, disk I/O, latency, throughput
• Опыт работы с системами мониторинга и наблюдаемости: Prometheus, Grafana, alerting, анализ логов
• Навыки автоматизации с использованием Ansible, Terraform, Bash или Python
• Понимание процессов incident management, problem management и практик SRE
• Опыт проведения RCA, postmortem analysis и внедрения решений по повышению надёжности инфраструктуры

Будет преимуществом

• Опыт эксплуатации Data Lake / Lakehouse платформ в крупных компаниях
• Опыт сопровождения S3-хранилищ с интенсивными потоками чтения и записи данных
• Опыт масштабирования распределённых систем хранения и обработки больших объёмов данных
• Понимание особенностей эксплуатации платформ, используемых большим количеством внутренних потребителей

Что мы предлагаем:

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
• Удалённый формат работы, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины