Senior Data Engineer [DPI Антифрод]

МТС Web Services (MWS) — бигтех-компания, предоставляющая облачные, AI-сервисы и платформенные решения под разные задачи бизнеса: от работы с данными до разработки продуктов и оптимизации процессов. Также мы запустили новую публичную платформу собственной разработки — MWS Cloud Platform.

Мы ищем опытного дата-инженера для разработки и автоматизации ETL-процессов на проекте ГИС "Антифрод". Наша команда проектирует и разрабатывает высоконагруженную ETL-платформу для сбора, агрегации, управления и передачи данных с сетевых систем оператора связи МТС (DPI, MME, CGNAT и др.).

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

• проектировать архитектуру, согласовывать требования, выбирать технологии и средства реализации решений;
• планировать и реализовывать ETL-процессы, включая формирование источников нормализованных событий с контекстом, реализацию мультифакторной корреляции, профилирование устройства и абонента, передачу сигналов в ГИС;
• тестировать и автоматизировать запуск ETL-конвейеров;
• автоматизировать доставку, установку и обновление ПО и конфигураций;
• мониторить и исследовать проблемы производительности ETL-процессов в облачной инфраструктуре;
• участвовать в процессах автоматизации сценариев функционального, интеграционного и нагрузочного тестирования ПО;
• работать с дефектами, вести документацию по решению.

ЧТО МЫ ЖДЕМ ОТ КАНДИДАТА:

• знание технологий обработки данных в реальном времени;
• опыт проектирования и реализации ETL-процессов «под ключ», включая создание компонентов автоматизации;
• навыки написания пайплайнов и автоматизации процессов на Python;
• уверенное знание SQL;
• опыт создания Spark-приложений для распределенной потоковой обработки больших данных;
• опыт работы с брокерами сообщений (Kafka);
• умение оркестрировать ETL-задачи с помощью Airflow или аналогов;
• навыки проектирования и поддержки различных СУБД (ClickHouse, Greenplum и др.);
• опыт работы с микросервисной архитектурой, Docker и Kubernetes;
• опыт работы с Git/GitLab.

БУДЕТ ПЛЮСОМ:

• опыт работы с S3.

МЫ ПРЕДЛАГАЕМ:

• собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах;

• профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом;

• внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации;

• участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре Hello, conference!

• полезные курсы и вебинары в корпоративном университете и электронные библиотеки.

А ЕЩЕ:

• медицинскую страховку с 1 месяца со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой;
• единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium;
• скидки и предложения от партнеров на фитнес, занятия английским и прочее;
• отпуск 28 календарных дней + 3 дополнительных дня за ненормированный/гибкий рабочий день;
• гибридный и удаленный формат в зависимости от локации в рамках РФ.