Data Engineer (Agent Execution Framework)

Мы разрабатываем AEF (Agent Execution Framework) — платформу для управления AI-агентами в контуре банка. Платформа требует обработки больших объёмов данных: для развития агентов, мониторинга их работы и оценки качества (в том числе LLM-as-a-judge). Используем AI-инструменты в управлении требованиями, тестировании и разработке. Ищем Data-инженера, который выстроит надёжные ETL-процессы и обеспечит качество данных для платформы.

Чем можем похвастаться:

• мы строим будущее систем, где AI-агенты становятся основой digital-трансформации

• быстрые итерации, прямой контакт в командах, открытое обсуждение проблем и предложений

• работа на фронтире — видишь, как твои решения превращаются в рабочие продукты

Чем предстоит заниматься:

• разрабатывать и выводить в промышленный контур витрины данных

• обрабатывать и поставлять данные для исследований в Лабораторный контур • консультировать пользователей по вопросам использования данных

• создавать и актуализировать техническую документацию

• создавать процедуры контроля качества данных и автоматизировать процессы проверки

• проводить анализ структур данных в различных источниках и форматах.

Мы ожидаем:

• опыт работы в data engineering от 3 лет

• опыт работы с AI-инструментами: GitHub Copilot, Claude Code или подобными

• владение одним из языков программирования: Python или Scala

• навыки работы с pyspark или spark

• практическое владение технологическим стеком Hadoop (HDFS, YARN, Hive)

• опыт обработки больших объемов данных в распределенных средах

• уверенное знание SQL (сложные запросы, оптимизация)

• опыт работы с реляционными СУБД (одна или несколько): Oracle, Teradata, MS SQL, Greenplum

• понимание концепций и принципов организации хранилищ данных (DWH)

• опыт проектирования витрин данных

• опыт использования инструментов разработки GIT, DevOps.

Будет плюсом:

• опыт работы с инструментами оркестрации данных (Airflow, NiFi или аналоги)

• опыт работы с потоковой обработкой данных (Kafka, Spark Streaming)

• опыт работы с LLM API, подготовка данных для ML/AI-моделей

• опыт построения пайплайнов для evals/оценки качества моделей

• опыт работы в финтехе или в защищённом контуре

Условия

• гибридный формат работы
• стабильный оклад и социальная поддержка сотрудников
• расширенный ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• корпоративная пенсионная программа
• корпоративное обучение за счет компании
• реферальная программа для сотрудников: можно пригласить в команду знакомых профессионалов и получить вознаграждение до 40 тыс. рублей
• официальное оформление с первого дня
• мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы
• работу по Agile с лучшими из IT индустрии: 2000 продуктовых команд и возможность внутреннего перемещения.