Data Engineer

Москва, Центральный административный округ, Пресненский район, Московский международный деловой центр Москва-Сити, многофункциональный комплекс Башня на Набережной

Метро: Деловой центр

Показать контакты

Описание вакансии

Нужен Data Engineer, который сможет взять на себя часть непрофильной для аналитиков работы по автоматизации отчётов, превращению моделей в сервисы, оптимизации запросов, а также сможет выстроить процесс код ревью, CI\CD Pipeline.

Наш стек: MPP (Vertica, ClickHouse), Python+ Airflow, Hive, PySpark.

Вам предстоит:

Работать со слоями данных RAW, ODD, DDS: создавать их и развивать;
Проектирование и разработка витрин данных для анализа и моделирования;
Оптимизация процессов ETL, система мониторинга обновления витрин и источников данных;
Изучение способов повышения качества и надёжности данных;
Предоставление экспертной поддержки по оптимизации обработки данных на клиенте: Jupyter + Python;
Поддержка и развитие базы знаний.

Мы ожидаем:

Отлично знаешь SQL, знаком с Vertica, Clickhouse, владеешь концепцией DWH;
Умеешь программировать на Python;
Знаком с командной строкой Unix-систем;
Есть опыт работы с BI-инструментами: в идеале Superset, но опыт с другими BI тоже подойдет, если ты готов осваивать новый инструмент;
Работал с Airflow, Hadoop, Spark (Pyspark), Gitlab;
Хорошо представляешь, как работает e-com;
Способен взять ответственность свое направление и готов к самостоятельному решению задач с большой степенью неопределенности.