Москва
Продуктовая IT компания, которая занимается разработкой и поддержкой высоконагруженных проектов для крупных компаний, в том числе с мировой известностью, основная часть которых представляет собой развлекательные онлайн-сервисы находится в поисках Lead Data Engineer.
Обязанности и задачи:
Руководство командой: управление группой дата инженеров, постановка задач, контроль качества и сроков, проведение code review, наставничество и развитие специалистов.
Развитие дата-платформы: проектирование и развитие Data Lake (s3 + Iceberg + Trino / Spark + dbt), организация слоев (Bronze/Silver/Gold), моделирование данных, обеспечение масштабируемости.
Стандартизация и best practices: формирование и внедрение общих стандартов и подходов, единых подходов к ETL/ELT, управлению схемами и документацией.
Интеграции и пайплайны: разработка и поддержка пайплайнов данных, обеспечение качества и доступности данных для аналитиков.
Data Quality и Governance: Поддержка и развитие системы мониторинга целостности и качества данных. Активная коллаборация с владельцами источников данных.
Требуемые знания и опыт:
Опыт лидства от 2 лет.
Опыт работы дата инженером от 5 лет.
Глубокое понимание принципов проектирования архитектуры хранилища данных (Kimball, Medallion, OBT)
Python (будет плюсом Scala / Go)
Отличное понимание Airflow.
Экспертный опыт работы с Apache Spark, Spark Streaming, Kafka.
Опыт работы с docker, k8s, docker-compose, CI/CD пайплайнами.
Опыт активного взаимодействия с командами - аналитиками, DevOps, разработкой.
Умение находить общий язык с бизнес пользователями.
Что компания может предложить:
АТОЛ, группа компаний
Москва
до 350000 RUR
Отраслевой центр разработки и внедрения информационных систем / ОЦРВ
Москва
до 350000 RUR