Effective-DL Engineer (GigaChat)

Мы команда GigaChat - создаём и развиваем core-технологию генеративной языковой модели. Сейчас GigaChat умеет создавать тексты, понимать аудиосигналы и вести с вами беседы голосом, создавать изображения, решать сложные математические задачи и даже программировать на CUDA. Мы убеждены, что создание большой языковой модели требует сочетания наукоемких исследований, тщательного проектирования архитектуры обучений и грамотной организации внутренних процессов.

Наша команда осенью выпустила сильную русскоязычную модель GigaChat MAX уровня GPT-4 (метрики в статье), а этой зимой выложили в открытый доступ одну из наших MoE-моделей. Теперь мы ищем талантливого Engineer-а, который поможет нам ускорять инфраструктуру обучений, работая с самым современным железом в индустрии. В этой роли вы будете сотрудничать с нашим ML и Production командами, ускоряя их обучения в том числе на аппаратном уровне.

Обязанности

• профилировать и ускорять нашу систему обучений
• писать Hardware-специфичные кернелы обучений, в том числе для балансировки нагрузки в распределенных системах
• повышать стабильность работы обучений
• применять и оптимизровать новейшие методы обучений, доводить их до production-решений
• постоянно держаться up-to-date со свежими статьями.

Требования

• уверенное владение Python, С++, Pytorch/Tensorflow
• знание базовых алгоритмов и математики
• опыт работы с одной из технологий: CUDA, Triton, PTX
• опыт работы с аппаратными ускорениями для видеокарт NVIDIA A100, H100, H200
• понимание работы с RDMA сетями, NCCL, MPI
• понимание текущего состояния эволюции распределенных вычислений и написания hardware-эффективных ядер

Будет плюсом:

• наличие публикаций

Условия

• комфортный современный офис рядом с м. Кутузовская
• возможность выбрать удобный график – офис/гибрид/удаленка (в РФ)
• годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• ипотека для сотрудников по дисконтной программе
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.