Эксперт по администрированию Hadoop

Чем предстоит заниматься

• Поддерживать, развивать и мониторить существующие Hadoop кластера (у нас их несколько)
• Автоматизировать процедуры развертывания/обслуживания кластера
• Анализировать и устранять проблемы производительности различных компонент Hadoop кластера
• Планировать горизонтальный и вертикальный роста кластера
• Развивать инфраструктуру хранилища, экспериментировать с новыми системами сбора, хранения и анализа данных
• Помогать аналитикам и разработчикам в их ежедневной работе с Hadoop

Что для этого нужно

• Практические навыки администрирования Hadoop (Hive, HDFS, YARN, Kerberos + Sentry), Cloudera, Arenadata Hadoop
• Глубокие знания Linux
• Любовь к автоматизации задач на скриптовых языках (shell/awk/sed, python)
• Опыт работы с системами мониторинга (Zabbix)
• Приветствуется знание Spark, Airflow, Kafka и инструментов аналитики