Инженер по сопровождению Big Data-платформ

Описание вакансии

Мы ищем эксперта Big Data платформы. Это роль на стыке классического SRE, глубокой работы с инфраструктурой и спецификой распределенных систем обработки данных.

Чем предстоит заниматься:

Сопровождать Big Data Platform.
Поддерживать S3/Object Storage инфраструктуру.
Настраивать мониторинг, диагностировать и устранять инциденты.
Troubleshooting производительность платформы и storage систем.
Сопровождать Kubernetes и компонены Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg.
Проводить RCA и postmortem analysis.
Автоматизировать эксплуатационные задачи.
Взаимодейстовать с командами Data Engineering и инфраструктуры.

Для нас важно:

Экспертный опыт администрирования Linux.
Опыт сопровождения высоконагруженных distributed systems.
Глубокое понимание S3/Object Storage и distributed storage architecture.
Опыт сопровождения Kubernetes-платформ.
Практический опыт эксплуатации компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg.
Опыт эксплуатации MinIO/Object Storage решений.
Понимание replication, erasure coding, consistency, fault tolerance.
Практический опыт troubleshooting: CPU, RAM, network, disk I/O, latency, throughput.
Опыт работы с observability stack: Prometheus, Grafana, alerting, log analysis.
Опыт автоматизации: Ansible, Terraform, Bash, Python.
Понимание incident/problem management и SRE-практик.

Главный принцип SkillStaff - Выбирай!

РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.
РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.
КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!