Senior Data Engineer в Trust & Safety

Мы — команда платформы данных в направлении Trust & Safety. Делаем данные и признаки для моделей машинного обучения, которые используются в антифроде, модерации контента и других продуктах. У нас есть как потоковая платформа (Databus/Kafka + Flink + Redis/Cassandra), так и “озеро” данных на S3/Apache Iceberg с доступом через Trino.

Мы ищем дата-инженера, который обеспечит расчёт и поставку признаков для ML-моделей — от чтения сырых событий до записи финальных значений в онлайн- и офлайн-хранилища.

Вам предстоит:

• ​​​Проектировать и разрабатывать потоковые процессы, которые читают события из Databus/Kafka и считают онлайн‑признаки, записывая их в Redis и Cassandra;
• Проектировать и разрабатывать пакетные процессы, которые читают данные из S3/Iceberg через Trino, считают офлайн‑признаки и пишут результаты обратно в S3/Iceberg и/или ClickHouse;
• Следить за тем, чтобы один и тот же признак был согласован между обучением и продакшеном (одна логика расчёта, единый контракт);
• Настраивать расписания, пересчёты и бэки, чтобы признаки обновлялись вовремя и выдерживали SLA по свежести;
• Работать с качеством данных: добавлять проверки, мониторить аномалии, разбирать инциденты, когда “признак поехал”;
• Совместно с DS и аналитиками придумывать новые признаки и помогать перевести их из экспериментальных скриптов в стабильные пайплайны.

• 4–5+ лет опыта в роли Data Engineer / Backend+Data;

• Уверенный опыт работы с Kafka‑подобными очередями (Databus/Kafka): продюсеры/консьюмеры, партиционирование, ключи, обработка ошибок;

• Практический опыт со streaming‑движком (желательно Flink; Spark Structured Streaming подойдёт, если есть реальный прод‑опыт);

• Опыт работы с Redis или Cassandra как онлайновым хранилищем данных/признаков;

• Опыт работы с S3‑подобным хранилищем и табличным форматом (Iceberg/Delta/Hudi) и доступа к ним через SQL‑движок (Trino/Presto/Spark SQL);

• Отличное знание SQL и опыт работы с ClickHouse;

• Python на уровне уверенной разработки data‑скриптов и сервисной логики;

• Опыт настройки и сопровождения пайплайнов в Airflow;

• Понимание задач ML‑пайплайнов: train/serve skew, пересчёты признаков, влияние задержек и потерь событий.

• Потоковая обработка и очереди: Databus(Redpanda)/Kafka, Apache Flink (или Spark Structured Streaming при готовности переучиться на Flink (java));

• Онлайновое хранение признаков: Redis, Cassandra;

• Хранение и офлайн‑фичи: S3 + Apache Iceberg, доступ через Trino;

• Аналитическое хранилище: ClickHouse;

• Оркестрация и обработка: Airflow, Python, dbt (для batch‑части и моделирования в DWH);

• Плюсом будет опыт с одним из feature‑store решений (Feast или аналоги) — многие компани.