Data Engineer/Backend Python developer с опытом Airflow

В новую цифровую платформу с большим количеством интеграций ищем Data Engineer/Backend Python разработчик . Мы не строим DWH, мы собираем данные из большого количества API. Опыт с ETL Apache Airflow от 3 лет обязателен!

Обязанности:

• Разбор внешних API или парсинг данных и подготовка новых Dags в Airflow для загрузки данных
• Поддержка существующих Dags в Airflow -оптмизация и рефакторинг. Работа с высоконагруженными микросервисами
• Мониторинг и обработка ошибок в существующих интеграциях
• Формирование таблиц для BI системы из внутренних источников данных
• Работа по Data Quality загружаемых данных
• Работа с PostgreSQL
• Работа с шиной сообщений (NATS) для интеграции с внешними системами
• Участие в выработке технических решений по ETL , декомпозиция бизнес и системных требований

​​​​Требования:

• 4+ лет опыта в сфере Data Engineering.
• Опыт работы с разнородными внешними API (Rest, GraphQL, парсинг данных)
• Глубокие знания Python Продвинутый уровень SQL (PostgreSQL)
• Опыт работы с ETL/ELT пайплайнами в production на Apache Airflow 3+ лет обязателен!
• Опыт оптимизации Dags Airflow для высоконагруженных интеграций
• Опыт работы с разнородными внешними API ( Rest, GraphQL, парсинг данных)
• Опыт работы с Data Quality данных
• Опыт работы с шинами данных ( Kafka/Nats)
• Желательно знание Golang
• Понимание основных подходов проектирования ETL процессов и стека BigData
• Опыт работы с Gitlab
• Опыт использования Apache Spark
• Опыт проектирования аналитических витрин
• Понимание принципов и опыт работы с контейнеризацией (Kubernetes, Docker) CI/CD
• Готовность решать сложные задачи, предлагать оптимальные архитектурные решения, работать с высоконагруженными системами.

• Удаленный формат работы
• Живой продукт с большим количеством интеграций (внешние площадки, агрегаторы)