Возможность участвовать в разработке/развитии проекта как на базе современных Open Source решений, так и на базе "фундаментальных" Enterprise продуктов, лидирующих в "квадрате" Gartner.
Стек: СУБД SAP/Sybase IQ, SAP/Sybase ASE, MS SQL Server, Greenplum.
ETL IBM Datastage. Oracle Golden Gate, Apache NiFi, Apache AirFlow.
Обязанности:
• Сопровождение ETL-процессов в Новой платформе данных (НПД) и Корпоративном хранилище данных (КХД);
• Участие в миграции КХД на НПД;
• Осуществление мониторинга работоспособности сервисов, ETL-процессов, инфраструктуры, мониторинг тракта данных, оперативное реагирование в случае возникновение нештатных ситуаций;
• Анализ и разработка запросов, представлений, процедур в базах данных, преимущественно в GreenPlum, PostgeSQL, SAP IQ, SAP ASE, MS SQL, а также Impala;
• Доработка существующих решений в рамках исправления выявленных ошибок в ETL-процессах КХД и НПД;
• Разбор и устранение инцидентов качества данных КХД и НПД;
• Разработка средств автоматизации сопровождения, мониторинга ETL-процессов и инфраструктуры КХД и НПД
• Анализ обращений пользователей, эскалируемых 1-й и 2-й линией поддержки, для системного выявления критических проблем;
• Актуализация базы знаний, анализ текущих ETL-решений, реинжиниринг;
• Документирование процессов и потоков данных.
• Уверенное знание SQL, опыт разработки и оптимизации SQL-запросов, представлений, процедур в базах любой из перечисленных данных Oracle/MS SQL/Teradata/SQL Server/SAP (Sybase)/Greenplum и т.д.;
• Опыт работы с S3, Impala и AirFlow
• Опыт работы с Python
Условия: