Data Engineer

О проекте

Ищем Data Engineer в команду, которая строит и развивает платформу данных: от сбора и обработки до хранения и предоставления данных для аналитики, продуктовых команд и ML. Важно не просто писать запросы, а проектировать надёжные пайплайны с учётом SLA, качества данных и стоимости.

Задачи

• Проектировать и развивать ETL/ELT-пайплайны (batch и/или streaming);

• Интегрировать данные из различных источников (БД, API, файлы, стримы);

• Развивать слой хранения (DWH / Data Lake / Lakehouse, витрины данных);

• Обеспечивать качество данных (валидации, мониторинг, алерты, SLA);

• Оптимизировать производительность пайплайнов и запросов;

• Работать с оркестрацией (Airflow или аналоги);

• Обрабатывать ошибки и обеспечивать надёжность пайплайнов;

• Взаимодействовать с аналитиками, ML и продуктом.

Требования

Обязательно:

• Уверенный коммерческий опыт Data Engineering от 4х лет;

• Сильный Python;

• Глубокий SQL (сложные запросы, оптимизация);

• Опыт разработки ETL/ELT-пайплайнов;

• Понимание data modeling (DWH / витрины);

• Опыт с инструментами оркестрации (Airflow или аналоги);

• Опыт работы с аналитическими БД;

• Базовые практики разработки (Git, Docker, тестирование);

• Понимание SLA, качества данных и обработки ошибок.

Будет плюсом:

• Опыт со streaming (Kafka и др.);

• Spark / Big Data инструменты;

• dbt;

• Data Quality инструменты (Great Expectations и др.);

• Опыт построения Data Platform / Lakehouse;

• Облачные платформы (AWS / GCP / Azure).

Этапы:

• Скрининг (30 минут);

• Техническое интервью (1 час 30 минут).

Условия:

• Работа в динамичной IT-компании;

• Возможности для роста в Data Engineering;

• Дружная команда;

• Конкурентная зарплата;

• Гибкий график и удалённая работа;

• Интересные задачи с большими данными.

———————————————————

Пожалуйста, прикрепите к отклику скрининг по требованиям: отметьте плюсы напротив навыков, которыми вы владеете, и минусы – напротив тех, которых у вас нет. Это поможет улучшить и ускорить рассмотрение отклика.

Например:

• Уверенный коммерческий опыт Data Engineering от 4х лет; +

• Сильный Python; +

• Глубокий SQL (сложные запросы, оптимизация); + и тд.