Data Engineer

Описание вакансии

Мы трайб «Корпоративное взыскание» Сбербанка. Наш продукт – это совокупность сервисов, упрощающих всю работу по взысканию задолженностей с корпоративных клиентов Сбера: от поступления информации о проблемах у клиента и до успешного урегулирования его задолженности.

Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры.

ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

участие в разработке архитектуры решения в части хранения и обработки данных (структурированных / неструктурированных), разработка витрин данных
разработка и проектирование модели данных, потоков данных, алгоритмов загрузки и обработки данных, ведение документации
разработка и оптимизация ETL, обеспечение производительности и стабильности, участие в анализе инцидентов
организация оптимального процесса разработки
проработка и реализация интеграций со смежными системами.

Требования

опыт работы в области Data engineering от 2 лет
уверенное знание Apache Spark, в целом экосистемы Hadoop (Hive, Spark, HDFS, Oozie, YARN)
знание Scala, опыт разработки и оптимизации расчетов на больших объемах данных в Hadoop
знание SQL – сложные запросы, Join`ы, агрегаты, группировки, вложенные запросы, рекурсивные запросы
опыт построения автоматизированных процедур загрузки данных и работы с ETL инструментами
опыт работы с инструментами для организации и автоматизации работы: Jira, Confluence, Bitbucket, Git, Jenkins
понимание методологии Agile и DevOps
владение английским языком на уровне чтения технической документации.