Data Engineer

Описание проекта : Наша команда реализует продукт кредитования юридических лиц сегмента малого и микробизнеса. Мы закончили процесс миграции на новые системы и сейчас начинаем активно развивать продукт и делать его лучше для клиентов. Впереди много интересных задач и идей, которые сделают нас лучше.

Опыт работы: от 1го + года

Основные требования:

• Знание SQL на уровне аналитических запросов (подзапросы, агрегация, оконные функции);
• Умение обращаться с git, bash.
• Знания языков программирования Java/Scala, Python;
• Понимание работы Hadoop, принципов распределенной обработки данных
• Опыт разработки на Spark/PySpark;
• Оптимизация выполнения сценариев на Spark;
• Понимание процессов ETL, ELT

Стек:

• Hadoop, Apache Spark, SQL, Python/Scala/Java

Дополнительные (желательные) требования:

• Опыт разработки на Spark/PySpark;
• Оптимизация выполнения сценариев на Spark;
• Опыт использования Apache Oozie;
• Понимание процессов ETL, ELT

Должностные обязанности:

• Исследование источников данных (внешних данных, реплик АС Банка, других витрин);
• Проведение EDA
• Разработка, тестирование витрин данных исходя из требований стейкхолдеров на Spark (Scala, Java, Python)
• Поддержка существующих витрин данных
• Разработка, сопровождение, развертывание в прод-контуре сервисов передачи данных
• Code Review изменений, предлагаемых коллегами.

Условия:

• Возможность профессионального и карьерного роста в компании
• Возможность поучаствовать в разных проектах
• Опыт работы в распределенной команде профессионалов
• Уровень заработной платы обсуждается индивидуально
• Оформление в соответствии с ТК РФ в Bell Integrator https://bellintegrator.ru/
• Формат работы ОФИС: МСК/ Кутузовский проспект 32к1