Data Engineer

Команда проекта занимается представлением сервис обеспечения бизнес-процессов агрегированными и структурированными внешними данными для Банка ТОП-3. Разрабатываем дата-продукт внешнего профиля клиента

Твои задачи:

• Разрабатывать ETL ПО: витрины данных (Scala + Spark), а также интеграционные потоки с использованием kafka, хранилища данных на Postge и API методов
• Искать возможности оптимизации, повышения скорости расчета, эффективности использования вычислительных ресурсов
• Повышать стабильность работы приложений, анализ типовых ошибок и возможных рисков, развивать системы логирования, её полноту и информативность для последующей промышленной эксплуатации, при необходимости участвовать в решении возникающих при эксплуатации инцидентов
• Развивать систему контроля качества, автотестов
• Agile работа в тандеме с аналитиком данных, который является носителем ТЗ на разработку
• Самостоятельное осваивать и соблюдать стандарты разработки (описание в Confluence)
• Оформлять релизную документацию – паспорт релиза, чек-листы
• Также у команды есть задачи, связанные с развитие ИИ агентов на этапе зарождения направления

Что мы ждем от тебя:

• Высшее образование в области математики, статистики, информатики или смежных областях

• Уверенное владение SQL и опыт работы с реляционными базами данных (PostgreSQL, знание GreenPlum будет преимуществом)

• Опыт работы с экосистемой Hadoop и инструментами обработки больших данных

• Понимание принципов работы брокеров сообщений, практический опыт работы с Kafka

• Навыки работы с REST API и разработки интеграционных решений

• Уверенное владение Linux на уровне опытного пользователя

• Опыт работы с инструментами контроля версий (Git) и настройки процессов CI/CD (Jenkins)

• Знание инструментов статического анализа кода, в частности SonarQube

Будет плюсом:

• Опыт участия в проектах банковской сферы
• Понимание принципов и наличие навыков в области Prompt-engineering.