Привет! Я Кирилл, тимлид команды Business Intelligence в Профи. Наш сервис — маркетплейс услуг, который помогает клиентам и специалистам встретиться.
В моей команде четыре человека: BI-аналитик, два дата-инженера и я. Когда нужно, помогают продуктовые аналитики.
Недавно мы решили перейти с Vetrica на GreenPlum. Хотим не просто перенести все процессы, но и улучшить их по пути. Сделать востребованное аналитиками хранилище с данными, которым доверяют.
Предстоит разработать подходящую под наши задачи архитектуру, сделать единую систему наименований полей, унифицированную систему расчёта метрик между базами данных, улучшить документацию, мониторинг состояния витрин многое другое. Ищем сильного архитектора, который с этим поможет.
ТЕХНОЛОГИИ
Основа хранилища — базы данных Vertica и ClickHouse, начали переход с Vertica на GreenPlum.
Архитектура хранилища:
якорная модель,
схема «звезда» для слоя витрин.
MySQL — основной источник данных и БД для сервисов.
Оркестрация загрузки данных с помощью Apache Airflow.
ЗАЧЕМ ТЕБЕ К НАМ
Творить. Переход на GreenPlum для нас — возможность полностью пересмотреть наше хранилище и сделать его таким, чтобы нам самим было в кайф им пользоваться и была 100% уверенность в качестве данных. У тебя будет полный карт-бланш на воплощение идей.
Заниматься по-настоящему важным направлением. Все в компании понимают, насколько важно заботиться о хранилище и качестве данных. Поэтому всегда можно рассчитывать на помощь аналитиков, продактов и других команд. А ещё точно будешь получать море благодарностей от бизнеса при каждом улучшении процессов и качества данных :)
Наслаждаться культурой компании. Тебе точно у нас понравится. Мы любим не только работать вместе, но и отдыхать. Устраиваем соревнования по горным лыжам и сноуборду, зимуем на вилле в Турции, бегаем марафоны, играем в настолки в офисе, летом устраиваем корпоративный фестиваль «Профикэмп» (в прошлый раз мы с командой построили там пятиметровую мельницу, просто так :)).
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ
В первое время:
Познакомиться с хранилищем и процессами в нём.
Изучить сущности источников данных и взаимосвязи между ними.
Вместе с командой провести ревью принятых решений, касающихся модели данных.
Спроектировать и реализовать несколько витрин на замену старым.
В целом:
Формировать и развивать архитектуру хранения данных в аналитическом хранилище на GreenPlum и ClickHouse.
Отвечать за соблюдение архитектуры хранения данных, проводить ревью кода:
трансформаций данных (промежуточные структуры),
наполняющего детальный слой данных ( DDS),
наполняющего отчётный слой данных (витрины).
Консультировать аналитиков по подготовке данных для Tableau/Metabase.
Писать код загрузки данных от источника до отчётного слоя в рамках инструментов BI-платформы.
ЧТО НУЖНО, ЧТОБЫ К НАМ ПРИСОЕДИНИТЬСЯ
Уверенное знание SQL:
Знание архитектур Anchor model или Data Vault 2.0, «звезда» и «снежинка».
Умение работать с системами контроля версий: Git и Gitlab/GitHub/Bitbucket
Умение разбираться в чужом коде. В основном SQL, редко — Python.
ЧТО МЫ ЗА ЭТО ПРЕДЛАГАЕМ
Президентская академия ( РАНХиГС ) - Российская академия народного хозяйства и государственной службы при Президенте РФ