AI инженер (команда LLM Evals)

HeadHunter

AI инженер (команда LLM Evals)

Москва, 2-я Брестская улица, 48

Метро: Белорусская

Описание вакансии

Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем LLM/Prompt-инженера, который поможет нам создавать, тестировать внедрять GenAI-решения.

Если вам интересно развивать продукты на базе LLM — через промпты, дизайн llm-пайплайнов и системный подход к оценке качества, если вы готовы не только создавать прототипы, но и улучшать их в продакшене на основе обратной связи и метрик — мы будем рады видеть вас в нашей команде.

Чем предстоит заниматься:

  • Разрабатывать, тестировать и внедрять совместно с командой разработки решения на базе LLM;
  • Настраивать поведение моделей — экспериментировать с промптами (CoT, Tree-of-thoughts, few-shot, structured outputs, tool calling, etc), контекстом, параметрами моделей и архитектурой llm-пайплайнов (один промпт, цепочка промптов, агенты, RAG и пр.);
  • Тестировать и оценивать качество работы llm-решений на всех этапах — собирать актуализировать golden-сеты, валидационные выборки, настраивать llm-as-a-judge, развивать подходы автоматической оценки работы llm-фичей, создавать метрики и бенчмарки;
  • Анализировать логи, трейсы и фидбек по реальной работе ассистентов в продакшене и улучшать их качество на основе найденных инсайтов.

Требования:

  • Практический опыт создания решений на базе LLM (prompt engineering, RAG, function calling, structured outputs, reasoning, agents);
  • Понимание теории ML, глубокого обучения, современных подходов к NLP;
  • Сильный Python, опыт работы с аналитическими инструментами и ML-библиотеками;
  • Опыт с SQL, навыки работы с данными, умение собрать датасет и провести аналитику;
  • Живой интерес к сфере GenAI, опыт работы с популярными вендорными и open-source моделями (Qwen, Llama, DeepSeek, GPT-OSS);
  • Опыт с фреймворками оркестрации llm (langgraph, langchain или аналоги);
  • Понимание методов оценки качества LLM (бенчмарки, human eval, LLM-as-as-Judge) и метрик для различных NLP-задач;
  • Продуктовое мышление - смотреть на задачи через призму “помочь конечному пользователю”, участвовать в брейнштормах и приносить новые идеи.

Будет плюсом:

  • Практический опыт файнтюнинга различных LLM под продуктовые задачи (SFT, PEFT, RLHF, LoRA, PPO, DPO, GRPO);
  • Опыт внедрения LLM решений в продакшн.

Условия:

  • Возможность выбора места работы: удаленно или из офиса;

  • Гибкий график рабочего дня;

  • Оформление в соответствии с ТК РФ;

  • Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно);

  • Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.

Навыки
  • DS
  • LLM
  • PROMT
  • RAG
  • ML
  • NLP
  • Agents
Посмотреть контакты работодателя

Адрес

Похожие вакансии

metaLead
  • Москва

  • Не указана

Рекомендуем
Платформа Национальной Технологической Инициативы

Инженер по AI-автоматизации

Платформа Национальной Технологической Инициативы

  • Москва

  • Не указана

Рекомендуем
585, Холдинг
  • Москва

  • Не указана

Рекомендуем
КОРУС Консалтинг
  • Москва

  • Не указана

Рексофт

AI разработчик

Рексофт

  • Москва

  • Не указана

ПТ-Электроник

Промпт-инженер

ПТ-Электроник

  • Москва

  • Не указана

Rambler&Co
  • Москва

  • Не указана

MR Group, группа компаний

AI Engineer

MR Group, группа компаний

  • Москва

  • Не указана

Альфа-Селлер Технологии

Prompt Engineer

Альфа-Селлер Технологии

  • Москва

  • Не указана

IBS
  • Москва

  • Не указана

SkillStaff
  • Москва

  • Не указана

IEK GROUP
  • Москва

  • Не указана

DaData
  • Москва

  • Не указана

Зетта Страхование

ML/LLM/EVAL разработчик

Зетта Страхование

  • Москва

  • Не указана

Продамус

AI Engineer (Fullstack)

Продамус

  • Москва

  • Не указана

PostPro18
  • Москва

  • Не указана

ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ»

Инженер (Разработка систем внедрения медицинских интеллектуальных технологий)

ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ»

  • Москва

  • Не указана

Тривио
  • Москва

  • Не указана

2ГИС
  • Москва

  • Не указана

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию