Администратор баз данных (Hadoop)

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Что нужно делать?

• выполнять развертывание, инсталляцию и настройку кластерных решений на базе Apache Hadoop (Cloudera/Arenadata)
• обеспечивать высокую доступность, мониторинг, масштабирование и резервное копирование/восстановление кластерных инсталляций
• проводить оптимизацию конфигураций, управлять политиками хранения данных и контролировать оптимальность потребления ресурсов кластера
• производить развертывание offline инсталляций продуктов Arenadata (Cluster Manager, Enterprise Tools, Arenadata Hadoop (Hyperwave))
• обеспечивать безопасность данных: настраивать Kerberos, управлять правами доступа и проводить аудит с использованием Arenadata Platform Security
• взаимодействовать с командами эксплуатации и разработки для поддержки их задач и обеспечения бесперебойной работы сервисов
• разрабатывать скрипты и использовать инструменты автоматизации (Ansible) для рутинных задач (развертывание, мониторинг)
• документировать процессы и процедуры эксплуатации решений

Какие знания и навыки нам важны:

• опыт администрирования кластеров Apache Hadoop (желательно на платформах Cloudera или Arenadata)
• глубокое понимание архитектуры и принципов работы сервисов: HDFS, HBase, Yarn, Hive, Solr
• уверенное администрирование операционных систем семейства RHEL/CentOS/RedOS/OpenSUSE
• владение инструментами автоматизации (Ansible) и навыки написания скриптов (Bash/Python) для автоматизации задач
• умение диагностировать и решать проблемы производительности, настраивать параметры JVM и ОС под нагрузки
• опыт работы с системами резервного копирования и восстановления данных в распределенных системах

Будет плюсом:

• умение работать с CDC инструментами
• опыт взаимодействия с S3-платформами
• администрирование PostgreSQL 11+ (настройка master/slave)
• навыки работы с MongoDB
• опыт управления кластерами Elasticsearch или Opensearch
• знание Apache Kafka и Clickhouse
• опыт настройки систем мониторинга Zabbix/Grafana
• владение системами JIRA/Confluence для ведения задач и документации
• понимание идеологии Infrastructure as Code (IaC)

Что предлагаем:

• рыночную зарплату и премии
• драйвовые задачи и ресурсы для их реализации
• удаленный формат работы
• преимущества аккредитованной IT-компании
• материальную помощь в случае важных событий в жизни
• корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке
• корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие
• комьюнити по интересам
• скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.​​​​​

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы