Старший специалист направления мониторинга качества моделирования

Обязанности:
Ищем аналитика в проект по созданию цензор-модуля — системы автоматической фильтрации нежелательного контента в генерации LLM. Модуль будет интегрирован в ключевые продукты банка — от виртуальных помощников до внутренних чат-ботов. Проект только запустился, поэтому будет возможность влиять на ход принятия решений. Зона ответственности — контроль качества и стабильности ML-сервисов цензор-модуля, построенных на базе LLM. На начальных этапах упор будет на работу с текстом, в будущем скорее всего придем и к работе с изображениями. Работа на стыке анализа данных, построения мониторинга, общения с разработкой и бизнесом. Ищем человека, который не просто «мониторит графики», а понимает, что происходит под капотом у моделей, умеет ставить гипотезы и проверять их на практике, готов копаться в логах, пайплайнах и коде.

• Мониторинг систем автоматической генерации текста и изображений с использованием продвинутых подходов в аналитике и мат статистике;
• Участие в проектировании и запуске систем контроля качества генерации;
• Построение и автоматизация пайплайнов для мониторинга моделей;
• Разработка метрик, визуализаций, алертов;
• Анализ отклонений, формулирование гипотез, тестирование и обсуждение с разработкой;
• Сбор, агрегация и интерпретация логов работы моделей;
• Работа в связке с продуктом, DS, разработкой и бизнесом.

Требования:

• Опыт в валидации, разработке или мониторинге NLP-моделей;
• Уверенное владение Python и SQL;
• Опыт работы с BI-инструментами;
• Опыт работы с Hadoop/Spark/Hive — важно;
• Понимание принципов работы LLM: от архитектур до особенностей inference;
• Умение формулировать гипотезы и проверять их на данных;
• Навыки постановки бизнес-требований, описание процессов.

Будет плюсом:
• Опыт в мониторинге ML-моделей;
• Участие в разработке или аудите LLM;
• Понимание базовых принципов MLOps или построения data-инфраструктуры;
• Участие в ML-соревнованиях, Kaggle-контестах, публикации, pet-проекты.

Условия:
• Минимум бюрократии — фокус на суть;
• Работа с живыми LLM в реальных продуктах;
• Карьерный рост: пересмотр зарплат раз в год;
• Квартальный бонус по результатам работы;
• ДМС со стоматологией с первого дня работы + 10 дней полной компенсации больничного;
• Стабильную работу в одном из крупнейших банков страны;
• Конкурентную заработную плату, соцпакет;
• Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).