Инженер данных \ Data Engineer Middle
Инженер данных \ Data Engineer Middle
Москва, Ленинградский проспект, 72к1
Метро: СоколОписание вакансии
Мы ищем Data Engineer в команду цифровых трансформаций Mars Wrigley. Команда отвечает за развитие корпоративной платформы данных и инженерной экосистемы, обеспечивая бизнес надежными, качественными и доступными данными. Мы проектируем и поддерживаем ETL/ELT-процессы, развиваем инфраструктуру данных, внедряем стандарты разработки и помогаем продуктовым командам эффективно использовать данные.
Основной фокус команды — создание масштабируемых решений для хранения, обработки и доставки данных, а также развитие внутренних инженерных практик и инструментов.
Основной фокус команды — создание масштабируемых решений для хранения, обработки и доставки данных, а также развитие внутренних инженерных практик и инструментов.
Вы будете:
- Разрабатывать и оптимизировать пайплайны обработки данных.
- Интегрировать новые источники данных в Data Lake.
- Участвовать в развитии дата платформы (внедрение новых фреймворков и практик инженерии данных).
- Проводить код-ревью.
Мы ожидаем:
- Высшее образование.
- Опыт разработки пайплайнов обработки данных в Airflow.
- Практический опыт оптимизации Spark-приложения.
- Понимание работы СУБД и принципов построения хранилищ данных.
- Уверенное владение SQL, Python.
Навыки
- Apache Spark
- Spark
- Python
- SQL
- Airflow
