Ведущий Инженер данных

Опыт и технические навыки (обязательные):
- Понимание принципов функционирования распределенных систем/вычислений
- Понимание основ проктивоания эффективных приложений для СУБД и подходов к оптимизации
- Опыт разработки PySpark и оптимизации Spark-приложений
- Опыт разработки на Python
- Опыт работы с одной из СУБД: Postgres, Oracle, Greenplum или аналогичной.
- Опыт работы с Airflow
- Опыт работы с git
- Уверенный пользователь Linux (типовые команды и утилиты)

Желательно:
- Опыт работы с Trino/Hive/Hadoop
- Опыт работы с табличными форматами (предпочтительно Iceberg, или DeltaLake/Hudi)
- Опыт работы с Docker и Kubernetes
- Опыт разработки на Java (или понимание основ JVM)
- Опыт работы с инструментами мониторинга (Grafana, Prometheus и аналогичные)

Требования/функции:
- Разработка программных модулей (преимущественно ETL) с использованием PySpark и Airflow
- Создание модулей автоматизации ETL-процедур для переиспользуемого шаблонного кода
- Оптимизация разработанных решений

Организационные и лидерские задачи:
- Управление командой 2-4 человека (постановка задач, соблюдение общих стандартов и валидация результатов)
- Декомпозиция высокоуровневых задач и делегирование разработчикам
- Выстраивание процессов разработки (стандарты, CI/CD, стенды, инструкции развертывания)
- Проведение технических демо разработанного функционала заказчику

Дополнительно

Позиция предполагает гибридный формат работы с периодическими выездами к заказчику (цент Москвы).