Системный инженер (Hadoop)

Москва, Большая Татарская улица, 11С

Метро: Новокузнецкая

Показать контакты

Описание вакансии

Обязанности:

Сопровождение кластеров Cloudera CDH, обеспечение их стабильной, высокодоступной и безопасной работы
Планирование и оптимизация ресурсов кластеров, выявление и устранение «узких мест»
Взаимодействие с командами инженеров данных, инфраструктуры и других для согласования требований к инфраструктуре, SLA и поддержки
Расследование инцидентов и проблем производительности, координация работ по их устранению, ведение технической документации

Требования:

От трех лет на позициях, связанных с администрированием кластеров Hadoop (Cloudera, Hortonworks, Arenadata и т.д.)
Опыт установки, настройки, тюнинг и обновления дистрибутивов Cloudera
Опыт администрирования и оптимизация ключевых сервисов: HDFS, YARN, Spark, ZooKeeper
Опыт обеспечения высокой доступности и отказоустойчивости (NameNode HA, ResourceManager HA).
Опыт с мониторинг и алертинг с использованием Cloudera Manager, Grafana, Zabbix или аналогичных систем.
Глубокое понимание архитектуры распределенных систем и принципов работы Hadoop/Spark
Опыт по сопровождению нереляционных баз данных в критических системах
Опыт работы с форматами хранения данных Parquet, Iceberg
Понимание архитектуры объектных хранилищ S3, Ozone
Навыки в области R&D: умение исследовать новые технологии, создавать прототипы и проверять гипотезы для развития и модернизации платформы данных.
Уверенные навыки администрирования серверов под управлением ОС Linux (Ubuntu/Debian, CentOS/RHEL, Astra, RedOS)
Умение читать и анализировать логи (Java stack traces, системные логи)

Условия:

Оформление согласно ТК РФ
Достойный уровень заработной платы + премии
График работы: 5/2 (гибридный формат)
Дополнительный социальный пакет: телемедицина, полис для выезжающих за рубеж, страхование от несчастных случаев и рисковых заболеваний, доплата по больничным листам до 20 дней в году, частичная компенсация затрат на покупку путевок в летний детский лагерь
Комфортный офис в центре: тренажерный и спортивный залы, лаунж-зона, микромаркеты, кухни с чаем, кофе и снеками на каждом этаже