Оценивать качество систем: настраивать retrieval-метрики (hit rate, MRR, NDCG), проводить оценку генерации (RAGAS, faithfulness, relevancy)
Контейнеризировать и деплоить решения на on-prem инфраструктуру
Требования
Опыт работы от 3х лет
Опыт работы с AI инструментами: от года
Опыт создания RAG-систем
Понимание архитектуры LLM: принципы работы трансформеров, управление контекстным окном, ограничения по токенам, стратегии работы с длинным контекстом (chunking, map-reduce, refine), узкие места inference
Знание NLP: токенизация, эмбеддинги, работа с текстом на разных языках