Data Engineer (телеком)

Наш проект - платформа по управлению данными для ведущего телеком-оператора РФ, обеспечивающая продукты современными инструментами для потребления, хранения, преобразования, аналитики и визуализации данных. Платформа будет интегрироваться более чем с 300 системами компании по потреблению данных из них, предоставлять сервисы с классом business-critical. В рамках нашего проекта будет реализовываться миграция корпоративных систем на данную платформу, настройка интеграций, внедрение искусственного интеллекта.

Твои задачи:

• Обработка терабайтов данных в потоке, приближенному к real time, хранение состояния каждого объекта и использование оконных функций
• Тестирование и доработка ETL инструментов (NewEtlTool, SeaTunnel) и оркестраторов, которые развивает команда (Airflow, DolphinScheduler)
• Консультации и ответы на вопросы пользователей
• Помощь в построении демо-пайплов и разборе кейсов пользователей
• Профилирование данных из источников

Мы ждем от тебя:

• Умение использовать bash/shell
• Опыт работы с Apache Spark на Scala
• Опыт работы с Hadoop(Hive)
• Знание SQL
• Опыт работы с Kafka
• Понимание принципов CI/CD (умение писать скрипты)
• Опыт работы с Airflow
• Понимание особенностей построения алгоритмов для работы с онлайн-данными и их реализацией

Будет плюсом:

• Знание основных принципов работы сотовой связи, атрибутов абонента и их взаимосвязи (IMSI, IMEI, MSISDN, CTN, MARKET, REGION, тип роуминга, MCCMNC и т.д.)
• Знание языка программирования Java
• Знание Spark Streaming
• Понимание особенностей работы с гео-пространственными данными

Что мы обеспечим:

• Опыт на интересных и значимых проектах
• Передовые подходы и технологии, современный стек
• Экспертную команду, возможности обмена опытом и экспертизой
• Технику для комфортной работы
• Сессии профессионального развития два раза в год, результатом которой является план индивидуального развития каждого сотрудника и получение обратной связи
• Сообщества по интересам: Лига Спорта, Лига Интеллекта, а также возможность организовать свое сообщество и получить поддержку от компании