Техлид Дата-инженер (потоковые данные)

Наша команда развивает Единое хранилище данных по всем процессам Центрального банка Российской Федерации. В нем консолидируется почти вся информация о финансовом рынке, необходимая для контроля, регулирования и прогнозирования развития экономики страны.

Мы создаем на базе Единого хранилища данных приложения для анализа и визуализации информации, которая необходима для принятия решений о денежно-кредитной политике Российской Федерации.

На проект реализации Комплексной системы мониторинга финансового рынка приглашаем техлида дата инженера.

Технологический стек:

Oracle, ,Click House, Hadoop, Informatica. В ближайшем будущем Postges Pro, ArenadataDB / Arenadata Hadoop, Apache Kafka, Apache Spark Streaming, Apache NiFi

Обязанности:

• участие во взаимодействии с заказчиками, анализ требований и оценка осуществимости и целесообразности реализации запрашиваемого функционала;
• поиск и выбор наиболее эффективных технологий для реализации проектируемых решений;
• обеспечение соответствия технологий производства продукта требования организации CI/CD;
• контроль соблюдения согласованной методологии разработки компонентов ИТС;
• создание и поддержка описания проектных решений в актуальном состоянии;
• обучение аналитиков и разработчиков подразделения передовым практикам разработки;
• проведение технического обучения и консультирования специалистов 2 и 3 линии поддержки;

Требования:

• высшее техническое образование;
• релевантный опыт работы (DWH, дата-инжиниринг);
• экспертные знания в области проектирования высоконагруженных потоков данных, обеспечивающих поставку данных в режиме реального времени (в сжатые временные отрезки);
• опыт работы с инструментами потоковой загрузки данных (Apache Kafka, Apache Spark Streaming);
• опыт работы с платформами для хранения и распределенных вычислений данных в режиме реального времени (такие как Hazelcast, Redis или аналоги);
• опыт работы с PostgreSQL, ClickHouse , HDFS;
• базовые знания по архитектуре и инструментам построения ETL для ХД (Informatica, MS SSIS, иное);
• навык работы с любым ER-средством;
• знание XML и XSD-спецификаций;
• знание процесса непрерывного развертывания и опыт установки изменений в рамках конвейера CI/CD;
• навык работы со средствами версионного контроля;
• опыт работы в Agile командах;
• знания в финансовой предметной области приветствуются

• Apache NiFi

• гибридный режим работы;
• релокационный пакет.