Middle+/Senior Data Scientist (LLM)
Middle+/Senior Data Scientist (LLM)
Москва, Овчинниковская набережная, 18/1с2
Метро: НовокузнецкаяОписание вакансии
Ищем Middle+/Senior Data Scientist в команду Умного поиска Самоката.
Основной фокус: улучшение качества ответов и выдачи, работа с поисковым пайплайном, LLM/RAG и аналитикой качества, плюс реализация изменений в Python-коде сервиса.
Задачи:
- Улучшение качества поиска и ответов: разбор ошибок, поиск паттернов, предложение гипотез;
- Улучшение и доработка RAG;
- Доработка эмбеддинг-моделей;
- Настройка и улучшение метрик качества (precision/recall, offline eval, LLM-as-judge);
- Проведение offline-экспериментов и подготовка изменений в продовом пайплайне;
- Написание production-кода на Python (FastAPI, asyncio), тестов, бенчмарков;
- Анализ влияния изменений на latency/качество/стоимость LLM;
- Написание промптов.
- Дообучение эмбеддинг-моделей, классификаторов и PEFT-адаптеров.
Наши ожидания:
- 2+ года в DS / NLP.
- Хороший Python (чистый код, тесты, работа с продовым кодом).
- Сильная база в метриках и экспериментах.
- LLM, RAG, prompt engineering.
- Опыт с эмбеддингами для поиска
- Умение проводить error analysis и превращать его в продуктовые гипотезы.
- FastAPI / asyncio
Желательные навыки:
- Опыт с LLM в поиске
- Опыт работы с high-load системами
- Опыт фаинтюна LoRA-моделей
- RLHF
- LLM-as-judge
- Kubernetes, Helm
Стек команды:
Разработка: Python, PyTorch, FastAPI, Pydantic, GitLab, Docker, Prometheus, Grafana;
ML инфраструктура: JupyterHub, MLFlow, Airflow, PostgreSQL;
ML: Transformers, SGLang, Triton;
Процессы: Jira, Confluence.
Навыки
- Python
- FastAPI
- MLflow
- Apache Airflow
- PostgreSQL
