Data Engineer

Чем предстоит заниматься ежедневно:

• Проектирование и разработка архитектуры хранилища данных на базе PostgreSQL и ClickHouse.
• Разработка и оптимизация ETL/ELT процессов для загрузки данных из различных источников.
• Оптимизация производительности баз данных и запросов.
• Разработка и поддержка data pipelines для обработки больших объемов данных.
• Обеспечение качества и целостности данных в хранилище.
• Создание и поддержка документации по архитектуре данных и процессам.
• Взаимодействие с аналитиками и бизнес-пользователями для понимания требований к данным.
• Участие в проектировании и реализации решений для бизнес-аналитики.
• Мониторинг и оптимизация производительности хранилища данных.
• Участие в code reviews и внедрение лучших практик разработки.
• Сотрудничество с командами разработки и DevOps для интеграции решений по работе с данными.
  

Обязательные технические навыки:

• Опыт работы в роли инженера данных или разработчика DWH от 3 лет.
• Глубокое знание и опыт работы с PostgreSQL:
• Оптимизация запросов и производительности
• Проектирование схем баз данных
• Работа с индексами и партиционированием
• Опыт работы с ClickHouse:
• Понимание особенностей колоночного хранения данных
• Оптимизация запросов и производительности
• Моделирование данных для ClickHouse
• Уверенное владение SQL, включая сложные запросы, оконные функции, CTEs.
• Опыт разработки и поддержки ETL/ELT процессов.
• Знание принципов проектирования хранилищ данных (DWH).
• Опыт работы с системами контроля версий (Git).
• Базовые знания Python или другого языка программирования для обработки данных.
• Понимание принципов Data Governance и обеспечения качества данных.
• Опыт работы с большими объемами данных.
• Опыт работы с Apache Airflow или другими инструментами оркестрации.
• Опыт работы с инструментами визуализации данных (DataLens, Tableau, Power BI).
• Понимание принципов построения дата-лейков.
• Знание методологий Agile и опыт работы в Scrum командах.
• Опыт работы с технологиями потоковой обработки данных (Apache Kafka).

Будет плюсом:

• Навыки программирования на Python.
• Опыт работы с S3 и Kubernetes.
• Опыт работы с Apache Flink, Apache Iceberg, Trino.