LLM-разработчик в команду фреймворка распределённого обучения

Мы отвечаем за ML-инструменты и инфраструктуру всего Яндекса, а нашими сервисами пользуется большинство ML-разработчиков Яндекса. Это команды, которые обучают модели для Алисы, Нейро, Шедеврума.

Сейчас мы приступили к новой большой задаче: разработать эффективный и удобный фреймворк для работы с LLM, от гигантских претрейнов до дообучения моделей под конкретные продуктовые задачи. Мы ищем research-инженера, готового вместе с нами создавать этот фреймворк и находиться на фронтире индустрии. Яндекс — одно из немногих мест в мире, где у вас будет возможность поработать на таких масштабах!

Какие задачи вас ждут:
Вот какие вызовы в работе над фреймворком стоят перед нашей командой и будут стоять перед вами:

• Добиться state-of-the-art эффективности всех существующих методов параллельного обучения на 10k+ GPU
• Создать механизмы, которые автоматически дают высокую утилизацию для различных NLP-задач без необходимости сложного тюнинга. Например, с помощью ML for Systems
• Сделать фреймворк удобным и расширяемым как для опытных специалистов, так и для команд, которые хотят внедрить LLM в свои продукты

• Отлично владеете Python, знаете лучшие инженерные практики
• Работали с PyTorch (JAX или TensorFlow тоже подойдут)
• Понимаете, как устроены современные LLM и как решать типичные NLP-задачи
• Знаете про современные подходы параллелизма в обучении моделей или готовы быстро с этим разобраться

• Интересуетесь или занимались ML/DL-исследованиями
• Понимаете, как устроены GPU и коммуникации между ними
• Умеете работать с большим количеством неизвестных