Data Engineer (Scala)

Ищем Data Engineer для создания витрин данных и интеграции с ML-моделью подбора тарифов. Работа с корпоративными источниками, хранилищами (HDFS, Hive, GreenPlum, реляционные СУБД), построение пайплайнов и подготовка признаков для рекомендательной системы.

Обязанности:

• Разработка, тестирование и оптимизация процессов сбора, предобработки, агрегации и трансформации данных в аналитические витрины.
• Создание и мониторинг регулярных пайплайнов в Apache Airflow для расчёта признаков абонентов (трафик, начисления, ARPU, услуги, тарифы).
• Разработка и оптимизация Spark-приложений на Scala для пакетной обработки данных и подготовки фичей для ML-модели.
• Реализация контура обратной связи (feedback loop) для рекомендательной системы: сбор, валидация и передача откликов абонентов в ML-модель.
• Интеграция со смежными сервисами и API: отказоустойчивость, логирование, контроль таймаутов, мониторинг качества данных.
• Оптимизация производительности: партиционирование, профилирование, управление памятью и ресурсами кластера.
• Покрытие кода тестами, документирование витрин (DDL, Data Dictionary) и ETL-процессов в Confluence.
  

Требования:

• Опыт в роли Data Engineer — от 1.5 до 2 лет.

Apache Spark:

• Опыт разработки на Scala — от 1.5 лет.
• Понимание архитектуры Spark (driver, executor, стадии, shuffling, data locality).
• DataFrames/Datasets API, Spark SQL.
• Форматы: Parquet, ORC, Avro, JSON, CSV. Чтение/запись в HDFS, Hive, JDBC.
• Оптимизация: partitioning, repartition/coalesce, broadcast variables, accumulators, cache/persist.
• Профилирование через Spark UI и логи Yarn.
  

Scala:

• Коллекции (List, Seq, Map, Set), функции высшего порядка (map, flatMap, filter, foldLeft).
• ООП и ФП: traits, case classes, tuples, pattern matching, Option/Either/Try.
• Сборка: sbt или maven (assembly / fat-jar).
  

Apache Airflow:

• Разработка и документирование production DAG.
• Расписание (schedule_interval, cron), catchup, depends_on_past.
• Операторы: SparkSubmitOperator, PythonOperator, BashOperator.
• Variables, Connections, XCom, сенсоры, макросы, Trigger Rules.
  

Python:

• Уверенное владение (PEP8, ООП, модули, virtualenv).
• Модульные тесты (pytest, unittest).
• Web-API: RESTful API, requests/aiohttp, JSON, обработка ошибок и таймаутов.
  

SQL и хранилища:

• Продвинутый SQL: JOIN (inner, left, full, semi/anti), оконные функции (ROW_NUMBER, DENSE_RANK, LEAD, LAG), CTE, подзапросы.
• Проектирование таблиц, партиционирование, индексы, View / Materialized View.
• Понимание HDFS и Hive.
  

• Linux/Bash (навигация, поиск, логи).

Мы предлагаем:

• Полностью удалённую работу.

• Гибкий график — вы самостоятельно управляете своим рабочим временем.

• Оформление по договору B2B (как ИП или самозанятый).

• Корпоративные курсы английского языка для профессионального роста.

• 3 оплачиваемых больничных дня в год.

• Культуру, основанную на доверии и самостоятельности, без микроменеджмента и излишней бюрократии.

• Git (ветки, merge requests), базовое понимание Docker.