Data Engineer в Отдел разработки инструментов и аналитики данных

В команду дата-инженеров (DE) Блока Финансы требуются специалисты по работе с большими данными. Мы готовим и выгружаем данные для дата-сайентистов (DS) Блока Финансы для обучения моделей машинного обучения. Как следствие, работаем по интересным задачам исследования данных с широким спектром данных: все розничные и корпоративные банковские продукты, экосистемные данные (продукты, клиенты, операции), что заметно развивает кругозор и профессиональную эрудицию наших сотрудников.

Мы много работаем с большими объемами данных (таблицы по 20Тб), даем опыт работы с современным техстеком, который востребован в корпоративных хранилищах данных и исследованиях данных: Hadoop, SPARK, Python, GreenPlum (Postgre).

Работаем в тесной кооперации с бизнес-аналитиками и дата-сайентистами, чтобы максимально быстро доставить необходимые данные.

Обязанности

• Сбор требований к данным, понять зачем нужны данные заказчику, как будет использовать
• Поиск данных, анализ корректности и соответствия бизнес-задаче
• Проверка качества данных
• Выгрузка данных (ETL), разработка витрин, оптимизация при необходимости

Требования

• Обязательно: опыт разработки SQL-запросов или SPARK API
• Желательно (будет плюсом):
• Опыт разработки сложных SQL-запросов (несколько и более таблиц >100млн строк, использование аналитических функций)
• Знание банковских продуктов и опыт работы с банковскими данными (физические и юридические лица)
• Опыт сбора и документирования требований
• Опыт работы (написание и оптимизация запросов, проектирование витрин и т.п.) на классических СУБД (Teradata, Oracle, MS SQL, My SQL, Postgre и т.п.)
• Опыт работы на Hadoop(Hive\Impala) и\или SPARK
• Опыт проектирования и внедрения СУБД или DWH или BI
• Опыт разработки отчетности

Условия

• Стабильный оклад и социальная поддержка сотрудников
• Официальное оформление
• Расширенный ДМС с первого дня и льготное страхование для близких
• Корпоративное обучение в Виртуальной школе Сбера
• Бесплатную подписку СберПрайм+ и скидки на продукты компаний-партнеров
• Корпоративную пенсионную программу
• Ипотеку выгоднее на 4% для каждого сотрудника