Инженер данных DWH в Авто.ру

Наша команда разработки аналитической инфраструктуры занимается полным циклом обработки данных в компании. Цикл включает сбор, хранение, валидацию и комбинирование всех знаний о бизнесе. Ключевое направление нашей деятельности — аналитическое хранилище данных (DWH), которое мы строим для нужд бизнес-подразделений. Наши пользователи — это и продуктовые команды, которым нужна регулярная отчётность для принятия решений, и эксперты в области глубокого анализа данных.

Технологически ядро хранилища построено на системах хранения данных Yandex Tables (кластер MapReduce собственной разработки), СlickHouse и PostgreSQL. Для разработки, оркестрации и мониторинга ETL-процессов используется собственный фреймворк, который разработан внутри Яндекса. Для организации модели хранения данных на разных уровнях применяются различные методологии проектирования хранилищ данных: Lambda-архитектура, Data Lake, Data Vault.

Задачи:

Проектирование структуры

Вы будете проектировать структуру хранения и обработки данных для новой версии DWH Авто.ру, которая будет создаваться с нуля.

Сопровождение процессов наполнения DWH Авто.ру

Вам предстоит сопровождать текущие процессы наполнения DWH Авто.ру, заниматься созданием новых ETL-процессов в условиях изменения стека в сторону опенсорса.

Оптимизация процессов поставки данных там, где это требуется

При необходимости вы будете погружаться в специфику данных одной или нескольких прикладных бизнес-областей, чтобы как эксперт помогать выявлять критичные аномалии в данных.

Мы ждем, что вы:

• Занимались промышленной разработкой на Python
• Проектировали DWH: слои, модели хранения данных, ETL/ELT-процессы
• Разрабатывали ETL-процессы с использованием Apache Airflow для DWH на основе Greenplum
• Настраивали поставки данных по API
• Разбираетесь в SQL на уровне эксперта
• Понимаете устройство и архитектуру реляционных и нереляционных баз данных
• Понимаете принципы работы технологий распределённой обработки данных: Hadoop, MapReduce и MPP
• Знаете основные алгоритмы и структуры данных (особенно те, которые используются в работе с большими данными)

Будет плюсом:

• Работали с системами YT (YTsaurus), ClickHouse, а также с инструментами оркестрации и выполнения процессов от Яндекса
• Работали с брокерами сообщений Kafka, RabbitMQ и т. д.
• Умеете работать в командной строке *nix-систем: Linux и macOS