Python developer (Airflow / dbt)

Обязанности:

• Разработка функциональности продукта на базе Apache Airflow: разработка кастомных операторов, хуков и провайдеров;
• Разработка модулей dbt: создание адаптеров к новым источникам данных, разработка кастомных плагинов;
• Проектирование архитектуры модулей и коннекторов;
• Взаимодействие с архитекторами и продуктовой командой для определения стратегии развития платформы данных;
• Разработка и поддержка тестовой инфраструктуры: unit-тесты, интеграционные тесты;
• Составление архитектурных документов и технических записок по принятым решениям;
• Защита и обоснование архитектурных и технических решений;
• Участие в code review;
• Ревью пользовательской и технической документации по продуктам;

Опыт работы:

• От 5 лет опыта в разработке на Python, из них значительная часть - продуктовая разработка инструментов для работы с данными;
• Практический опыт работы с dbt Core: понимание архитектуры, опыт разработки или доработки адаптеров;
• Знание стека Big Data: экосистема Apache Hadoop (HDFS, YARN, MapReduce), Apache Spark / PySpark, Apache Ozone, Trino, Apache Hive;
• Понимание принципов распределённого хранения и вычислений;
• Опыт работы с различными СУБД от 3 лет;

Профессиональные знания, умения и навыки:

• Знание внутреннего устройства Apache Airflow: архитектура, scheduler, executor-ы (Celery, Kubernetes), plugin-система, API провайдеров;
• Понимание архитектуры dbt Core: жизненный цикл выполнения, система адаптеров, протокол взаимодействия с источниками, Jinja-компиляция, манифест и артефакты;
• Уверенное владение Python 3;
• Опыт разработки коннекторов/драйверов к СУБД: знание DB-API 2.0, SQLAlchemy, ODBC/JDBC;
• Знание принципов устройства и функционирования операционных систем семейства Linux;
• Опыт работы с Git;
• Понимание принципов непрерывной интеграции и непрерывной доставки (CI/CD);
• Опыт контейнеризации: Docker, Docker Compose; понимание Kubernetes;
• Декомпозиция задач разработки и умение оценивать трудозатраты;

Будет плюсом

• Опыт коммитов в open source (Apache Airflow, dbt, dbt-адаптеры);
• Опыт разработки собственных dbt-адаптеров под нестандартные источники.