Мы — международная IT-компания НОВЕО. С 2002 г. мы занимаемся проектами по заказной разработке ПО для западноевропейского рынка.
Компанию отличает продуктовый подход к разработке и плотная интеграция специалистов в распределенную команду, что позволяет им напрямую влиять на техническое решение, качество кода и конечный результат.
Рабочие языки на проектах: английский, французский, русский.
О проекте:
Data-платформа для управления Last mile доставкой в 5 странах ЕС и UK (150+ городов). Заказчик — B2B-хаб, соединяющий отправителей грузов (аэропорты, таможня) с курьерскими службами. В ходе проекта разработана система обработки больших логистических данных, которая используется для аналитики эффективности перевозчиков и поддержки операционных решений в реальном времени.
Стек технологий проекта:
Python, SQL
AirFlow
AWS ecosystem: S3, Redshift, Glue
dbt
AirByte
Kafka / KafkaConnect
Visibility: Superset, Tableau
Kubernetes
Основные задачи:
Разработка и поддержка Airflow пайплайнов и трансформаций данных с использованием dbt
Поддержка и оптимизация Redshift data warehouse
Участие в миграции с self-hosted Airbyte на Airbyte Cloud и поднятие Airflow до версии 3.0
Улучшение дата-платформы: оптимизация пайплайнов, улучшение мониторинга и traceability
Участие в масштабных инфраструктурных миграциях:
self-hosted Airbyte -> Airbyte Cloud
Airflow -> Airflow 3.0
Улучшение мониторинга и метрик стабильности дата-платформы
Поиск и устранение задержек в выполнении Airflow pipelines
Повышение стабильности и производительности дата-платформы
Мы ждём от тебя:
Отличные коммуникативные навыки для взаимодействия как с техническими, так и с нетехническими командами
Разговорный английский уровня B2 и выше для общения в международной команде
Уверенное владение Python и SQL
Опыт разработки и поддержки Airflow pipelines
Опыт работы с dbt
Опыт работы в AWS стеке: S3, Redshift, Glue
Опыт поддержки и оптимизации production data pipelines и data warehouses
Любознательность, внимание к деталям и стремление сделать данные доступными и полезными
Будет плюсом иметь опыт работы с:
AirByte
Kafka / KafkaConnect
Kubernetes, Spark
Что ты получаешь:
О компании Новео:
Присоединяйся к команде экспертов Новео для решения интересных задач!