Руководитель направления обучения LLM

Мы ищем руководителя направления обучения больших языковых моделей, который будет отвечать за развитие качества моделей в доменной области через системное управление обучением, данными и оценкой.

Роль предполагает работу на стыке исследований, инженерии и продуктовых задач с фокусом на практическое применение моделей в бизнесе.

Обязанности

1. Развитие качества моделей

• анализ современных методов обучения LLM (SFT, RLHF/DPO, synthetic data, дистилляция)
• формирование стратегии обучения моделей под бизнес-задачи
• определение необходимых навыков модели (skills decomposition)

2. Работа с данными

• проектирование и развитие пайплайна датасетов:
• сбор, очистка, разметка, валидация
• создание обучающих и тестовых выборок
• разработка синтетических датасетов

3. Бенчмарки и оценка

• разработка и поддержка системы оценки качества моделей
• создание бенчмарков (включая domain-specific)
• проведение регулярного тестирования и сравнительного анализа моделей
• контроль регресса

4. Управление командой

• руководство командой разметки (до 40 человек) и подготовки данных (4 человека)
• постановка задач, контроль качества разметки
• разработка методологии разметки и инструкций
• работа с инструментами разметки (например, TagMe)

5. Взаимодействие с рисками и compliance

• согласование подходов к обучению с управлением модельных рисков
• контроль аспектов: галлюцинации, bias, соответствие нормативным требованиям
• обеспечение прозрачности и воспроизводимости обучения

6. Интеграция с продуктом

• работа с продуктовыми командами (LLM-агенты, RAG-системы)
• приоритизация задач обучения на основе бизнес-метрик
• участие в запуске моделей в прод

7. Экономика и эффективность

• оценка эффективности обучения (качество vs стоимость)
• выбор оптимальных стратегий: дообучение vs архитектурные изменения
• оптимизация использования вычислительных ресурсов

Требования

• опыт работы с LLM / NLP от 3–5 лет
• практический опыт обучения моделей (SFT, RLHF/DPO или аналоги)
• опыт построения датасетов и evaluation pipelines
• понимание архитектуры LLM и принципов их обучения
• опыт управления командой
• уверенное владение Python и ML-стеком (PyTorch / HuggingFace)

Будет плюсом

• опыт работы с доменными моделями (например, legal, finance)
• опыт построения пайплайнов генерации синтетических данных
• опыт внедрения моделей в прод
• знание подходов к снижению галлюцинаций

Условия

• участие в развитии одного из ключевых направлений AI
• влияние на качество и поведение моделей в проде
• работу на стыке исследований и реальных бизнес-задач
• возможность выстраивать процессы обучения моделей с нуля с командами претрейна и обучения