Senior ML Engineer

Описание вакансии

Мы - команда Intelligent Search, создаем поисковый сервис, который отвечает на запросы пользователей на естественном языке.

Миссия команды: Сломать барьер между статичными знаниями языковой модели и постоянно меняющимся миром. Мы предоставляем GigaChat доступ к актуальной информации, чтобы пользователи получали точные ответы на любые вопросы, включая вопросы о свежих новостях и событиях.

Над чем мы работаем:

- Разработка ядра поиска: Создаем и оптимизируем движок, который понимает, что именно нужно пользователю, и находит это в море данных

- Интеграция с GigaChat: Обеспечиваем бесшовную работу нашего поиска внутри основной LLM Сбера

- Мультиплатформенность: Делаем наш функционал доступным для пользователей на веб-платформе, в мессенджерах и на умных устройствах

- Решение сложных задач: Преодолеваем challenges, связанные с обработкой, структурированием и доставкой данных в формате, «удобоваримом» для языковой модели

Наша технология — это ключевой компонент, который:

- Позволяет LLM выйти за пределы датасета своего обучения

- Обеспечивает ответы, основанные на проверенных и свежих данных

В нашем проекте мы используем самые современные подходы к решению задачи Information Retrieval, проводим эксперименты по улучшению ранжирования поисковой выдачи с использованием методов машинного обучения, запускаем и анализируем результаты A/B тестов.

Если ты всегда хотел решать задачи на стыке науки и технологий, работать в области информационного поиска, заниматься не только исследовательскими задачами из области NLP, но и самостоятельно реализовывать и внедрять современные алгоритмы из свежих научных статей, то ты наш идеальный кандидат!

Стек технологий проекта: Python, OpenSearch/ElasticSearch, Transformers, PyTorch, Airflow, PostgreSQL, CatBoost, Hadoop, PySpark.

Обязанности

участвовать в разработке поискового движка
разрабатывать и оптимизировать алгоритмы и модели машинного обучения
обучать Transormer-based модели
проводить исследования и эксперименты в целях улучшения качества поиска
внедрять в продакшн ML решения
проводить A/B тесты

Требования

опыт работы в области NLP / ранжировании / поиске / рекомендациях от трех лет
хорошее знание классических структур данных и алгоритмов
фундаментальное понимание работы стандартных алгоритмов машинного обучения
опыт работы с современными языковыми моделями - трансформерами
уверенное владение Python на рабочем уровне
умение писать читаемый и поддерживаемый код

Будет плюсом:

опыт работы с ElasticSearch, OpenSearch или другим поисковым движком как с поисковым инструментом, а не хранилищем логов
опыт работы с Retrieval Augmented Generation
знание алгоритмов аппроксимированного поиска ближайших соседей
знание основ разработки на С++ и Java
опыт реализации и внедрения моделей машинного обучения
умение работать с платформами для краудсорса
знакомство с PySpark