Python/SQL-разработчик (Data Engineer: Airflow, Kafka, Greenplum)

О роли

Ищем разработчика в команду Data Engineering для создания и развития процессов загрузки, обработки и интеграции данных. Работа с потоковыми и пакетными данными, развитие пайплайнов в Airflow, интеграции через Kafka и решения на базе Greenplum.

Обязанности:

• Разработка и поддержка процессов обработки данных на Python и SQL.
• Создание, настройка и сопровождение DAG в Apache Airflow.
• Разработка интеграций и потоков данных на Apache Kafka.
• Загрузка, трансформация и оптимизация данных в Greenplum.
• Разработка кастомных парсеров для сайтов, API, файлов и внешних систем.
• Создание ETL/ELT-процессов и контроль качества данных (Data Quality).
• Оптимизация SQL-запросов и производительности на больших объёмах данных.
• Диагностика ошибок, настройка логирования, мониторинга и повторного запуска процессов.
• Взаимодействие с аналитиками, архитекторами, разработчиками и владельцами источников данных.
• Подготовка технической документации.

Требования:

• Уверенное владение Python.
• Хорошее знание SQL и принципов работы реляционных баз данных.
• Практический опыт разработки ETL/ELT-процессов.
• Опыт работы с Apache Airflow и разработки DAG.
• Понимание принципов работы Apache Kafka.
• Опыт с Greenplum, PostgreSQL или другими MPP-базами данных.
• Опыт интеграции с REST API, JSON, XML, CSV и другими форматами.
• Понимание принципов отказоустойчивых и идемпотентных процессов.
• Умение разбираться в чужом коде и находить причины ошибок.
• Опыт работы с Git.

Будет преимуществом:

• Kafka Connect, Debezium или CDC-инструменты.
• Docker и Kubernetes.
• ClickHouse, Spark, Trino или объектные хранилища (object storage).
• Написание автотестов для дата-пайплайнов.
• Настройка мониторинга через Prometheus и Grafana.
• Системы Data Quality и Data Governance.

Условия:

• Участие в развитии современной корпоративной платформы данных.
• Работа с большими объёмами данных и высоконагруженными интеграциями.
• Возможность влиять на архитектуру и технические решения.
• Сильная команда Data Engineering, аналитики и ML.
• Официальное оформление, конкурентный уровень вознаграждения.
• Формат работы и условия обсуждаются индивидуально.