Главный Data Engineer

Привет, на связи компания Магнит!

Наша команда развивает собственное решение Корпоративную платформу данных в крупнейшем офлайн-ритейлере Магнит. Мы строим систему сквозного мониторинга доступности товаров для покупателей. Сейчас продукт активно развивается: интегрируемся с действующими системами компании, масштабируем решение на тысячи магазинов, готовим расширение в смежные бизнес-процессы.

Сейчас мы ищем самостоятельного Главного Data Engineer

Чем ты будешь заниматься

• Разрабатывать потоки для слоя BM
• Разрабатывать потоки из систем-источников в DataLake
• Проводить ревью кода для BM
• Прорабатывать и вести технические решения на новой платформе в части инструмента DBT
• Заниматься процессом наставничества для младших сотрудников
• Устранять инциденты по работе потоков

Мы ожидаем

• Знания указанного стека: (GitLab, S3 (Parquet + Iceberg), КПД Impala, Clikhouse, Автоматизация на DBT, Spark, Airflow, Интеграция kafka, Debezium + ETL. Технологии обработки SQL)
• Опыт промышленной разработки
• Опыт миграции, наставничество, опыт работы в качестве техлида будет преимуществом