Senior Data Engineer (Scala)

Flocktory — аккредитованная ИТ-компания с инхаус-разработкой и штатом 200+ человек.

Мы разработали платформу лидогенерации, монетизации и персонализаци.

Она помогает пользователям совершать покупки на более выгодных условиях, а нашим партнерам — стабильно расти: находить новых клиентов, увеличивать лояльность текущих, конверсию и средний чек.

Наши партнеры — крупные игроки из топ-100 e-commerce, fintech, edtech, telecom (Т-Банк, Альфа-банк, МТС, Яндекс, Мегамаркет, Hoff, METRO, М.Видео, Skyeng и др.).

Мы стабильно развиваемся уже 13 лет и за последние три года наш бизнес рос в среднем более чем на 70%.

Мы ищем опытного Data Engineer, который усилит команду разработки внутренней платформы Flocktory.

Чем предстоит заниматься:

• настраивать процессы доставки изменений данных;

• решать стандартные задачи доставки данных: репликация, трансформация;

• настраивать процессы доставки метаданных (OpenMetadata);

• разрабатывать spark- задачи;

• формировать/проработывать архитектурные документы (ADR).

Наш стек:

• GitHub - хранение моделей и конфигураций процессов изменения данных

• Trino, Dbt - разработка витрин

• Yandex Data processing (Apache Hadoop, Apache Spark) - разработка репликаций, сложные датасеты

• Kafka-connect - потоковые репликации

• Apache Airflow - оркестрация задач

• OpenMetadata - описание данных

• Docker Compose, k8s - контейнеризация задач

• Pytnon (для Airflow) и Scala (для Spark)

• JIRA, Confluence (трекинг задач, документация)

• опыт работы на позиции Data Engineer/инженер хранилища данных от 3х лет;

• опыт решения задач репликации данных, создания слоев данных и витрин;

• высокий уровень владения SQL: опыт применения в работе джойнов, оконных функций, умение с нуля писать сложные запросы и подзапросы, опыт ежедневного использования SQL в работе;

• опыт работы с Trino, dbt, Kafka-connect, Apache Airflow, Docker Compose, k8s, Scala, Python;

• умение выстраивать эффективную коммуникацию как внутри своей команды, так и с соседними командами (аналитики, инфраструктура, другие продуктовые команды).

Будет преимуществом:

• понимание методик построения хранилищ данных: data lake, lakehouse, data vault, data mesh.

• оформление в штат компании, полностью “белую” заработную плату и все остальные выплаты;

• гибрид или удаленка по РФ, наш офис находится в Москве (ст.м. Динамо, SOK, Рыбаков Тауэр);

• возможность брать три выходных дня каждые полгода для решения личных вопросов;

• ДМС со стоматологией, онкозащитой, онлайн-поддержкой психолога, страховкой для путешественников;

• скидки на обучение английскому от Skyeng;

• годовой бюджет на внешнее обучение каждого сотрудника;

• скидки на покупку курсов на обучающей платформе Lerna;

• частичная компенсация покупки бизнес-литературы;

• тренинги с внешними экспертами;

• участие в конференциях, подготовка к выступлениям;

• бюджет на саморазвитие (спорт/бизнес-литература);

• план онбординга и поддержка buddy в течение первого месяца работы;

• корпоративный ноутбук;

• скидки от партнеров (больше 300 интернет-магазинов);

• большое количество онлайн/офлайн внерабочих активностей: корпоративы, Random coffee, FlockTalk, клубы по интересам (книжный, творческий и др.).