Мы команда данных Казначейства Сбера и разрабатываем распределённое хранилище, которое используется для обеспечения ключевых бизнес-процессов Банка. Перед нами стоят амбициозные задачи связанные с внедрением AI и ML в управленческие и аналитические системы.
проектирование и реализация высоконагруженных распределённых решений
участие в архитектурных сессиях, проектирование дизайна смежных систем и интеграций
поддержка и развитие архитектуры корпоративных хранилищ данных (DWH, Data Lake, LakeHouse)
проектирование и реализация прикладных сервисов доступа к данным и администрирования хранилища
повышение зрелости процессов управления данными
выстраивание процесса разработки
планирование и реализация технологических трансформаций
формирование требований и контроль реализации CI/CD, DataOps, MLOps
проведение code review, обеспечение соблюдения стандартов кодирования.
опыт работы 5+ лет с технологическим стеком Hadoop (HDFS, YARN, Hive), Apache Spark
приветствуется опыт работы с PostgreSQL, Apache AirFlow
отличные знания SQL (Advanced) и опыт работы в аналитике данных (DWH, Data Lake, Lake House)
опыт работы с ETL инструментами IPC или Apache Nifi
практический опыт создания python приложений с использованием распределенных вычислений
понимание принципов DDD, SOLID, паттернов проектирования и интеграции
уверенные знания Python и опыт разработки с использованием PySpark
понимание принципов CI/CD, подходов обеспечения качества
опыт работы с AI инструментами повышения эффективности разработки ПО
опыт работы с K8s, OpenShift