Data Engineer

Обязанности:

• Развитие и поддержка ETL-системы на платформе Dagster: настройка и оптимизация пайплайнов обработки и трансформации данных.
• Конфигурирование dbt для реализации моделей данных и автоматизации процессов трансформации.
• Интеграция новых источников данных в КХД: анализ, подключение и настройка коннекторов.
• Оптимизация хранилища данных на основе PostgreSQL и ClickHouse.
• Настройка и администрирование инструментов OpenMetadata для управления метаданными и каталогизации данных.
• Проектирование и создание кубов и аналитических витрин для использования в Luxms BI.
• Мониторинг и улучшение производительности ETL-процессов, устранение сбоев и узких мест.
• Обеспечение надежности данных и соблюдение принципов безопасности на всех этапах обработки.
• Взаимодействие с командой аналитиков и разработчиков для реализации требований бизнеса.

Требования:

• Опыт работы с инструментами ETL (предпочтительно Dagster) и системами управления данными.
• Знание SQL и опыт работы с реляционными и аналитическими СУБД, включая PostgreSQL и ClickHouse.
• Понимание концепций и опыт работы с dbt (или аналогами) для трансформации данных.
• Навыки работы с системами управления метаданными (OpenMetadata или аналогами).
• Знание принципов построения кубов и витрин данных, а также их визуализации в BI-системах (Luxms BI, Power BI, Tableau и пр.).
• Опыт интеграции данных из различных источников (API, файловые хранилища, базы данных).
• Понимание принципов построения архитектуры хранилищ данных (DWH) и витрин.
• Навыки оптимизации производительности ETL и запросов.

Преимущества:

• Знание Python для написания ETL-скриптов и автоматизации задач.
• Опыт работы с системами контроля версий (Git).
• Понимание CI/CD-процессов и автоматизации тестирования ETL.
• Опыт работы с ClickHouse в высоконагруженных системах.

Условия:

• Официальное трудоустройство в аккредитованной ИТ компании.
• Годовая премия и ежегодный пересмотр уровня дохода по результатам ежегодной оценки.
• Расширенный ДМС, включающий стоматологию.
• Кафетерий льгот (компенсация ДМС для родственников, питания, занятий спортом, обучения и отдыха для детей и др.).
• Корпоративная программа компенсации процентов по ипотечному кредиту.
• Корпоративная программа лояльности.
• Реферальная программа за рекомендацию друзей.
• Комфортные современные офисы в городах присутствия, техника для работы.