DataOps/DevOps инженер на DataLake

Описание вакансии

Мы - Центр развития искусственного интеллекта Ингосстраха. Развиваем продукты в области рисков, customer-relations, компьютерного зрения и обработки естественного языка.

В команду инфраструктуры нашего центра ищем DataOps/DevOps инженер на DataLake.

Присоединившись к нам Вы будете:

Поддерживать работу системы обработки хранения, подготовки данных для сред моделирования (datalake – Kuber+S3);
Заниматься администрированием и troubleshooting серверов Kubernetes;
Администрировать серверы Linux;
Управлять ролевой моделью доступа к данным для моделирования;
Разрабатывать и развивать систему хранения данных;
Управлять ресурсами datalake, администрировать Impala, Hive, Spark.

Стек: Kubernetes, Linux, S3, Spark, Impala, Trino, Airflow, Hive.

Мы ждем от Вас:

Опыта работы по направлению DataOps/DevOps/Data Engineer от 3х лет;
Опыта администрирования и troubleshooting кластеров Kubernetes;
Уверенного владения (на уровне администратора) Linux (RHEL/CentOS/Ubuntu/Astra);
Опыта работы с системами мониторинга (Prometheus, Grafana, ELK): настройка, создание дашбордов, алертинг;
Понимания общих принципов Data Lake и/или Data Warehouse;
Опыта технической поддержки, навыков анализа инцидентов и RCA.

Будет плюсом:

Знание сетевых протоколов и troubleshooting (TCP/IP, DNS, HTTP/HTTPS), понимание сетевой архитектуры в K8s;
Опыт работы с Hive Metastore: понимание принципов работы диагностика состояния;
Опыт работы с Apache Spark: понимание архитектуры, диагностика производительности;
Опыт работы с Apache Impala: настройка, мониторинг и решение проблем производительности;
Опыт работы с Trino: настройка коннекторов, диагностика производительности;
Опыт работы с Airflow: понимание конфигурации, настройка подключений и секретов;
Опыт работы с S3-совместимыми хранилищами: конфигурирование, мониторинг, troubleshooting;
Опыт работы с большими данными (10TB+).

Мы предлагаем:

Оформление по ТК РФ, полностью белую заработную плату (оклад + премии);
График 5/2, гибкое начало дня (в промежутке с 08:00 до 10:00);
Гибридный (г. Москва) или полностью удаленный формат работы (на территории РФ);
ДМС после испытательного срока;
Подписку Добросервис (неограниченное количество консультаций у высококвалифицированных психологов);
Платформу дистанционного обучения IngoStudy (возможность проходить курсы для прокачки soft и hard скиллов) + внешние обучения по согласованию с руководителем;
Корпоративную сотовую связь;
Льготные страховые продукты (страхование имущества физ.лиц, автотранспорта (Каско), страхование выезжающих за рубеж, страхование ипотеки, страхование от несчастных случаев и болезней);
Скидки на обслуживание и ремонт автомобилей;
Корпоративные предложения от сети фитнес-клубов: World Class, World Class Lite и UFC GYM;
Активную корпоративную жизнь со спортивными секциями: бег, волейбол, йога и др.;
Участие в разных благотворительных и экологических акциях, форумах, марафонах;
Зарплатный проект от АО Инго Банка: повышенный кешбэк бонусами, льготы по кредитам, ипотеке, рефинансированию, выгодные ставки по вкладам, накопительным счетам.