Мы строим платформу управления справочными / мастер данными и ищем сильного дата-инженера, который поможет её сформировать. Это роль про построение, а не про поддержку готового. Вы будете работать поверх существующих сервисов и постепенно превращать их в понятную прозрачную платформу, а ваши решения определят её фундаментальный дизайн.
Задачи
- Оптимизировать текущую платформу и превращать существующие пайплайны в прозрачные контролируемые процессы.
- Строить новые компоненты и пайплайны обработки данных.
- Разрабатывать и поддерживать self-service инструменты для разработчиков, аналитиков и владельцев доменов, чтобы подключение новых данных перестало зависеть от инженеров.
- Внедрять проверки качества данных и давать командам возможность пользоваться ими и расширять их.
- Внедрять механизмы определения golden record для справочных данных.
- Участвовать в найме по мере роста команды.
Мы ожидаем
- От 4 до 6 лет опыта в роли дата-инженера.
- Сильный Python, это основной язык платформы.
- Уверенный SQL, включая профилирование и оптимизацию запросов.
- Глубокий практический опыт хотя бы с одним батч-оркестратором, например Airflow, Dagster, Prefect или Kestra.
- Практический опыт с dbt.
- Практический опыт с инструментами качества данных, например great expectations, soda или аналогичными.
- Опыт с OLTP и OLAP базами, например Postgres и ClickHouse.
- Опыт с data lake или lakehouse и time travel.
Мы готовы предложить