Data Engineer

Центр развития Департамента информационных технологий Банка России ищем коллегу – профессионала и единомышленника.

ДИТ формирует ИТ-политику Банка России, систематизирует все изменения и инициативы в этом направлении, а Центр развития ДИТ реализует проекты по автоматизации процессов и задач, определяет инструменты анализа данных.

Одними из ключевых и важнейших для страны функций Банка России являются: разработка и проведение денежно-кредитной политики, анализ и прогнозирование состояния экономики РФ, регулирование и надзор за участниками финансового рынка.

Для реализации данных функций необходимы данные, инструменты для построения аналитики и решения задач с применением искусственного интеллекта, инструменты управления данными.

Вакансия открыта в Управлении корпоративных данных.

В задачи Управления входит:

- Развитие Платформы Единое хранилище данных;

- Сбор и обработка данных из различных источников как внешних, так и внутренних;

- Анализ требований по входящим потокам данных и аналитике

- Подготовка витрин данных и поставка данных для аналитики

- Разработка аналитических отчетов и дашбордов

- Участие в процессе внедрения и развития инструментов управления данными

- Решение задач с использования методов машинного обучения

Наша команда дружная и нацеленная на результат! ​

Задачи:

• разработка, оптимизация и поддержка работоспособности ETL-процедур обработки информационных массивов;
• работа с большими объемами данных и жесткими SLA на проведение расчетов;
• участие в архитектурных решениях, использование лучших практик хранения, мониторинга и качества данных;
• миграция ETL-процедур обработки информационных массивов на целевые инструменты Big Data экосистемы;
• разработка и поддержание в актуальном состоянии документации.

• высшее техническое образование;
• релевантный опыт работы от 3х лет;
• знания по проектированию Хранилища данных;
• знания современных тенденций и технологий Big Data (Hadoop, Spark, ClickHouse);
• знания и практические навыки написания SQL-запросов, опыт оптимизации сложных запросов;
• опыт работы с одной из аналитических или реляционных СУБД: Oracle, Greenplum, Clickhouse, PostgreSQL, Postgres Pro и опыт работы со стеком Big Data (Hadoop/spark/hive) от 3-х лет;
• желателен опыт работы с элементами современной Big Data экосистемы в качестве администратора, аналитика данных или специалиста по исследованию данных;
• навык работы со средствами версионного контроля;
• знание процесса непрерывного развертывания и опыт установки изменений в рамках конвейера CI/CD;
• опыт оценки реализации требований;
• умение работать с документацией и ее разработка;
• кластеризация: Apache Hadoop (HDP, CDP);
• контейнеризация: Docker Swarm, Kubernetes;
• CI/CD: Ansible, Jenkins, Gitlab;
• технологии распределенных вычислений: Apache Spark, Apache Hive, Cloudera Impala;
• ETL: Airflow, IPC.

• получение действительно уникального опыта в мегарегуляторе, участие в проектах, которые напрямую или косвенно затрагивают весь финансовый рынок России;
• развитую ИТ культуру: наставничество, обучение в Университете Банка России, профессиональные клубы, конференции, сильная команда коллег;
• стабильность при постоянном развитии;
• широкий социальный пакет (дополнительные дни к отпуску, возможности для отдыха по льготным ценам, свой многопрофильный медицинский центр, корпоративные скидки на спорт и активная спортивная жизнь внутри Банка России, пенсионная программа и многое другое);
• гибридный график работы, офис м. Багратионовская/Фили (шаговая доступность).