Data Engineer (проектная деятельность)

Мы – Myfin Group, продуктовая fintech-компания и резидент ПВТ.

Сейчас мы развиваем корпоративное хранилище данных и ищем Data Engineer в команду DWH на проектную деятельность / частичную занятость

Проект – корпоративное DWH по методологии Кимбалла.

Сейчас команда расширяет набор источников данных, развивает витрины и усиливает качество данных для аналитики, growth, продукта и бизнеса.

Стек проекта:

• Apache Airflow;

• ClickHouse;

• Python;

• SQL;

• MySQL;

• MongoDB;

• Яндекс.Метрика;

• AppMetrica Logs API.

• Новые источники данных:

• AppMetrica Logs API;

• 2 базы данных MySQL.

Задачи и зона ответственности

Ты будешь:

• разрабатывать и поддерживать ETL-пайплайны в Apache Airflow;

• настраивать загрузку данных из AppMetrica Logs API и MySQL;

• развивать корпоративное DWH и витрины данных;

• объединять веб-, mobile- и backend-данные в единую аналитическую модель;

• участвовать в склейке пользователей между каналами;

• контролировать качество данных, полноту загрузок и корректность преобразований;

• оптимизировать запросы и хранение данных в ClickHouse;

• работать с аналитиками, продуктом и backend-командами для корректной постановки и реализации data-задач.

Кого мы ищем

Обязательно:

• уверенный опыт разработки на Python;

• сильный SQL;

• опыт работы с Apache Airflow и\или опыт работы с ClickHouse;

• опыт работы с MySQL как источником данных;

• понимание принципов моделирования данных по методологии Кимбалла;

• опыт построения ETL / ELT-пайплайнов;

• опыт работы с AppMetrica Logs API;

• умение разбираться в структуре источников, проектировать загрузки и доводить данные до витрин;

• внимательность к качеству данных, умение находить и устранять причины расхождений.

Будет плюсом:

• опыт работы с dbt;

• опыт со Spark / PySpark;

• опыт с Kubernetes;

• опыт работы с MongoDB;

• опыт user matching / identity resolution;

• опыт объединения данных из web, mobile и backend-источников;

• опыт в fintech, продуктовой аналитике или performance/growth-направлениях.

Что мы предлагаем

• проектную деятельность / частичную занятость

• участие в развитии корпоративного DWH в крупном fintech-продукте;

• понятную прикладную задачу: новые источники, витрины, качество данных, склейка пользователей;

• возможность влиять на архитектуру данных и подходы к моделированию;

• удалённый формат работы;

• команду сильных специалистов, с которыми можно быстро погружаться в контекст и решать задачи без лишней бюрократии.

Важно:

Мы ищем Data Engineer на проектную деятельность / частичную занятость

Нужен специалист, который умеет быстро погружаться в источники, аккуратно строить пайплайны, думать о качестве данных и доводить задачу до результата, а не просто “переливать таблицы”.