Инженер данных

RDP - ведущий российский производитель сетевых решений.

Мы специализируемся на разработке инновационного программного обеспечения и программно-аппаратных комплексов для высокопроизводительной обработки сетевого трафика. Продукция компании широко востребована в сетях операторского класса, крупных предприятиях и Госсекторе.

Одна из ключевых особенностей нашей компании – поставка масштабируемых решений на базе нашего оборудования, интеграция с системами Заказчика и доработка продуктов под поставляемые решения.

Сейчас мы находимся в поиске Инженера данных в команду, которая занимается разработкой платформы обработки больших данных, а именно сетевого трафика.

Этот продукт будет использоваться для предотвращения сетевых атак, поиска аномалий в трафике и др.

Чем предстоит заниматься:

• Реализация ETL/ELT-процессов по декомпозиции;
• Разработка Spark-трансформаций (batch);
• Разработка SQL-трансформаций и витрин;
• Поддержка DAG'ов в Airflow;
• Поддержка legacy пайплайнов;
• Участие в миграции под руководством Senior / Ведущего инженера данных;
• Участие в устранении инцидентов;

Требования:

• от 2 лет опыта в Data Engineering;
• Уверенный опыт работы со Spark (batch);
• Опыт работы с Git;
• Отличное знание SQL (join'ы, агрегации, оконные функции), написание SQL-трансформаций;
• Уверенное владение Python;
• Понимание основ Data Lake / DWH;
  Опыт разработки ETL/ELT-процессов;
• Опыт разработки витрин данных;
• Поддержка и развитие DAG'ов (Airflow или аналогов).

Будет плюсом:

• Опыт работы с Iceberg / Delta Lake;
• Опыт работы с Trino / Presto;
• Опыт работы с Kafka;
• Опыт работы с ClickHouse;
• Опыт работы с Hadoop / Hive;
• Понимание streaming-обработки;
• Понимание моделей данных (Star/Snowflake, Data Vault);
• Понимание принципов построения IP-сетей и базовых сетевых протоколов (IP, TCP/ UDP, маршрутизация, модель OSI);
• Понимание принципов MLOps.

Условия:

• Работа в аккредитованной IT компании;
• Трудоустройство в соответствии с ТК РФ;
• Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью);
• График работы: 5/2, гибкое начало рабочего дня (с 8:00 до 12:00);
• Возможность работать удаленно в рамках РФ;
• ДМС (со стоматологией), частичная компенсация обедов (для тех кто ходит в офис), внутреннее и внешнее обучение за счет компании, корпоративный фитнес и изучение английского языка;
• Офис находится в БЦ "Трио" на метро Динамо (или мцд Гражданская).