Hadoop DevOps Engineer

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ

В команду платформы данных Финтеха WB нужен Hadoop DevOps Engineer.

Обязанности:

• Развертывание, настройка, обновление и поддержание высокой доступности кластеров Hadoop (HDFS, YARN), Hive, Spark, Kafka, ZooKeeper и других компонентов экосистемы.
• Разработка и поддержка инфраструктуры как код (IaC) с использованием Ansible, Terraform или аналогичных инструментов.
• Создание и развитие CI/CD пайплайнов для развертывания приложений и конфигураций на платформе данных.
• Автоматизация рутинных операций: мониторинг, сбор метрик, алертинг, обработка инцидентов.
• Обеспечение безопасности кластера (Kerberos, Ranger/Sentry, TLS).
• Планирование емкости кластера, мониторинг использования ресурсов и оптимизация затрат.

Вы нам подходите, если:

• У Вас опыт коммерческой разработки от 3 лет в роли DevOps / DataOps / Hadoop Administrator.
• Обладаете глубокими практическими знаниями экосистемы Hadoop: HDFS, YARN, MapReduce, Hive, Spark.
• Имеете опыт администрирования и настройки Hadoop-кластеров (Cloudera CDH/HDP/CDP, Apache Hadoop).
• Уверенное владение Linux (на уровне администрирования).
• Есть опыт написания скриптов на Bash, Python или Groovy.
• Есть опыт работы с системами конфигурации: Ansible, Puppet, Chef, Terraform.
• Знаете принципы CI/CD и есть опыт работы с инструментами: Jenkins, GitLab CI.
• Есть опыт работы с системами мониторинга: Prometheus, Grafana, Zabbix, Nagios.
• Понимаете сетевые основы (TCP/IP, DNS, Firewalls) и принципов информационной безопасности.
• Знание контейнеризации (Docker) и оркестрации (Kubernetes) будет большим плюсом.

Будет преимуществом:

• Знание систем потоковой обработки данных: Kafka, Flink.
• Опыт работы с инструментами для работы с данными: Airflow, Nifi.
• Понимание методологий Data Lake и Data Warehouse.

Преимущества для сотрудников:

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
• Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
• Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.