Lead Data Engineer

Продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, основная часть которых представляет собой развлекательные онлайн-сервисы, находится в поисках опытного Lead Data Engineer!

Команда разработки решений для маркетологов компании ищет опытного дата инженера для развития хранилища данных в рамках внутреннего технологического продукта. Команда занимается автоматизацией запуска и проведения маркетинговых акций и других промо активностей компании. Компания разрабатывает как решения для конечных пользователей, так и системы для внутреннего использования. У команды несколько логически связанных решений под нужды маркетинга, которые разрабатываются параллельно и могут влиять друг на друга.

Чем предстоит заниматься:

• Руководство командой: управление группой дата инженеров, постановка задач, контроль качества и сроков, проведение code review, наставничество и развитие специалистов;

• Развитие дата-платформы: проектирование и развитие Data Lake (s3 + Iceberg + Trino / Spark + dbt), организация слоев (Bronze/Silver/Gold), моделирование данных, обеспечение масштабируемости;

• Стандартизация и best practices: формирование и внедрение общих стандартов и подходов, единых подходов к ETL/ELT, управлению схемами и документацией;

• Интеграции и пайплайны: разработка и поддержка пайплайнов данных, обеспечение качества и доступности данных для аналитиков;

• Data Quality и Governance: Поддержка и развитие системы мониторинга целостности и качества данных. Активная коллаборация с владельцами источников данных.

Какие навыки нужны:

• Опыт управления командой от 2-х лет;

• Опыт работы дата инженером от 5 лет;

• Глубокое понимание принципов проектирования архитектуры хранилища данных (Kimball, Medallion, OBT);

• Python (будет плюсом Scala / Go);

• Отличное понимание Airflow;

• Экспертный опыт работы с Apache Spark, Spark Streaming, Kafka;

• Опыт работы с docker, k8s, docker-compose, CI/CD пайплайнами;

• Опыт активного взаимодействия с командами - аналитиками, DevOps, разработкой. Умение находить общий язык с бизнес пользователями;

• Большим плюсом будет опыт работы с dbt.

Что компания может предложить Вам:

• Возможность развивать свои компетенции и применять знания на практике;
• Возможность поработать на крупных проектах;
• Компания заинтересована в развитии своих сотрудников: готовы привлекать наставников и оплачивать курсы для повышения квалификации;
• Отсутствие бюрократии, быстрое согласование необходимых вещей;
• Оплачиваемые отпускные и больничные;
• Годовой бонус по результатам работы;
• Компенсация спортзала;
• Частичная компенсация английского языка или психолога (на выбор);
• Компания поддерживает сотрудника в важные периоды жизни;
• Предоставляем 4 day-off в год за счет компании;
• ДМС после 6 месяцев работы;
• Удаленный формат работы.