Data Engineer

Мы ищем опытного инженера данных в нашу команду. Успешный кандидат будет отвечать за разработку, тестирование, мониторинг и повышение производительности нашей новой Дата-платформы на основе решения класса Data Lakehouse - Apache StarRocks. Эта роль требует глубокого понимания архитектуры решения, инженерии и анализа данных, а также базового понимания методов и процессов обработки данных

Задачи, которые будут в твоих руках:

• Разработка, тестирование, эксплуатация и поддержка Дата-платформы согласно бизнес-требованиям и лучшим практикам инженерии данных.
• Проектирование и реализация процессов извлечения, преобразования и загрузки данных в Data Lakehouse.
• Интеграция решений по управлению данными, включая безопасность, качество, конфиденциальность и происхождение данных.
• Сотрудничество с архитекторами данных, разработчиками и членами IT-команды для достижения целей проекта.
• Мониторинг производительности систем и оптимизация процессов обработки данных.
• Участие в код-ревью и разработке документации.

Что для этого нужно:

• Опыт работы в качестве инженера данных или на аналогичной должности не менее 3 лет.
• Уверенные навыки работы с Apache Airflow и Python для интеграции, пакетной обработки данных и оркестрации данных.
• Опыт использования Apache Kafka для обработки данных в реальном времени.
• Глубокое понимание архитектуры данных и хранилищ данных.
• Опыт работы с Apache StarRocks будет преимуществом.
• Знания принципов работы и администрирования приложений в Kubernetes являются плюсом.
• Опыт работы с JupyterHub будет дополнительным преимуществом.
• Знание реляционных баз данных (PostgreSQL, MySQL, MS SQL).
• Степень в области компьютерных наук, информационных технологий или смежной области; степень магистра является плюсом.
• Отличные коммуникативные навыки и умение работать в команде.