Инженер по сопровождению SberData

Описание вакансии

SberData - департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 100 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

УСКАП – это управление занимающаяся сопровождением и развитием инфраструктуры Hadoop. С помощью нашей команды осуществляется надежность выполнения критичных бизнес-процессов, своевременное устранение и анализ проблем на Hadoop кластерах и принятом на сопровождение ППО разработанном в Сбербанке для Корпоративной Аналитической Платформы.

SDP Hadoop - это полноценный дистрибутив на базе Apache Hadoop, адаптированный для внутреннего использования, предназначенный для хранения и обработки слабоструктурированных и неструктурированных данных.

Наша команда в поисках инженера по сопровождению SDP Hadoop в Департаменте управления данными (SberData).

Обязанности

обеспечение бесперебойной работы платформы Hadoop в Сбере
установка, настройка, обновление кластеров SDP Hadoop и связанной инфраструктуры
участие в проектировании продукта SDP Hadoop со стороны сопровождения: написание ТЗ, описание и воспроизведение Дефектов
автоматизация рутинных операций (Самостоятельно и с привлечением смежных команд, выставление ТЗ на контрагентов) для повышения производительности и надежности систем
проактивное администрирование и мониторинг, обеспечивающее непрерывную работу платформы, развитие мониторинга системы
анализ и оперативное устранение нештатных ситуаций, отказов приложений, а также исследование корневых причин их возникновения
поддержка и совершенствование процессов CI/CD, релизного процесса, обеспечивая эффективную разработку и доставку
создание эксплуатационной документации для сопровождаемых систем
организация работ, взаимодействие со смежными командами, в части исправления выявленных недостатков
контроль внесения изменений в промышленную среду.

Требования

глубокие знания в troubleshooting'е и администрировании linux-систем, уверенное владение командами ОС семейства Linux
написание различных SQL запросов, понимание что такое DML, DDL, DCL, TCL;
понимание работы стека TCP/IP
опыт автоматизации на скриптовых языках (shell/perl/python/etc)

опыт работы с централизованными системами по управлению идентификацией пользователей (RH IDM IPA, Active Directory), понимание принципов работы Kerberos, LDAP.