Чем предстоит заниматься:
- Обследование действующих интеграций, состава данных и расчётов. Согласование изменений с перечнем показателей, потребителей, глубину исторических данных и периодичностью обновления.
- Составление и актуализация необходимой документации, спецификаций источников данных, структуры данных, правил преобразования и реестра расчётов.
- Согласование документов и изменений/дополнений в системах управления метаданными.
- Разработка новых и доработка существующих интеграций в соответствии с согласованной схемой интеграции.
- Разработка дата-продуктов, сервисов доступа к данным и публикации данных, витрин данных, процессов расчетов и преобразования данных в различных слоях ХД.
- Выполнение и контроль ошибок загрузки согласованной истории данных, настройка регулярного обновления данных.
- Тестирование процессов интеграции и обработки данных, сверка с источниками и устранение выявленных дефектов.
Наши ожидания:
- Опыт работы от 2-х лет в качестве инженера данных, разработчика ETL в хранилищах данных на СУБД Greenplum или ADB.
- Опыт разработки с использованием dbt, оптимизации процессов загрузки и обработки больших витрин.
- Экспертиза в реализации ETL / ELT для хранилищ или озер данных;
- Уверенное владение SQL и PL/SQL СУБД Greenplum (ADB);
- Оптимизация SQL, в том числе для целей OLAP;
- Навыки работы с Apache Airflow — создание DAG’ов, управление зависимостями ETL-пайплайнов;
- Понимание Data Vault и навыки работы с ней;
- Знание подходов к разработке, документированию, тестированию потоков данных;
- Обязательно хотя бы базовый уровень (курсы, практика или самостоятельное изучение) владения Apache Hadoop (Spark, Hive или Impala);
- Понимание работы и взаимодействия с Kafka;
- Опыт работы в Jira, Confluence, Git.
- Готовность оперативно погрузиться в сложную архитектуру с множеством требований к разработке, неймингу объектов и т.д.;
- Самостоятельность: готовность докручивать постановки от аналитиков самостоятельно, документировать результаты своей работы в базе знаний;
- Готовность работать в условиях сжатых сроков;
- Взаимодействие с разработчиками, аналитиками и архитекторами внутри проектной команды, а также смежными подразделениями и экспертами заказчика.
- Будет плюсом: опыт работы с архитектурой Data Mesh.
Мы предлагаем:
- Удаленный формат работы;
- Официальное оформление в аккредитованную IT-компанию (в штат Selecty);
- Гарантированный официальный оклад (обсуждается по итогам собеседования);
- ДМС со стоматологией, начиная с ИС;
- Скидки от наших партнеров на изучение иностранных языков, фитнес, кино;
- Реферальная программа: бонус за рекомендации.