Технический аналитик на LLM-Router (экономика и качество LLM API)

LLM Router — быстрорастущий проект в контуре Data Light, обеспечивающий доступ к языковым моделям через API и маршрутизацию запросов между поставщиками.

Чем предстоит заниматься:

• Анализировать себестоимость и маржинальность по поставщикам, моделям и маршрутам, выявляя причины изменений и потенциальные финансовые потери.

• Контролировать корректность цен и параметров тарификации в системе, отслеживая изменения тарифов, условий, лимитов и технических ограничений поставщиков.

• Выстроить систему тестирования и оценки поставщиков: критерии приёмки, тестовые сценарии, фиксация результатов и регулярная переоценка.

• Вести процедуры подключения и отключения поставщиков, самостоятельно выполнять доступные настройки и координировать доработки с технической командой.

• Готовить предложения по порядку поставщиков в каскаде с учётом экономики, стабильности и ограничений, согласовывая изменения с руководителем Supply.

• Организовывать и контролировать регулярные сверки внутренних логов с биллингом поставщиков, находить расхождения, оценивать их финансовый эффект и устанавливать причины.

• Исследовать ошибки тарификации и учёта (некорректный учёт параметров запросов, обрывы стриминга, неполные данные о токенах, повторные запросы и другие отклонения).

• Независимо оценивать качество поставщиков и корректность внутреннего учёта на основе данных, отслеживая ошибки, задержки, успешность запросов и переключения между маршрутами.

• Передавать выявленные проблемы ответственным, участвовать в разборе с технической командой и проверять результат исправлений.

• Систематизировать инструменты учёта и отчётности, развивать дашборды, автоматические проверки и уведомления об отклонениях.

• Формировать понятную отчётность: состояние поставщиков, существенные отклонения, риски и предложения по оптимизации.

Что мы ожидаем:

• Опыт самостоятельной аналитической работы в технических продуктах: от постановки задачи и проверки данных до выводов и внедрения изменений.

• Уверенное владение SQL: сложные объединения, оконные функции, агрегации, поиск пропусков и дублей, анализ больших объёмов событий.

• Владение Python для анализа данных, работы с API и автоматизации регулярных проверок.

• Понимание HTTP, REST API и JSON. Умение самостоятельно выполнить тестовый запрос, изучить ответ и проанализировать логи.

• Понимание принципов потоковой передачи данных, таймаутов, повторных запросов и их влияния на учёт и стоимость.

• Понимание экономики продукта: себестоимость, выручка, маржинальность, влияние тарифов и технических ошибок на финансовый результат.

• Навыки сверки данных из разных источников, проверки их полноты и достоверности, поиска первопричин расхождений.

• Умение формулировать требования к мониторингу и отчётности, ставить задачи технической команде и проверять результат.

• Самостоятельность, системность, внимание к деталям. Умение подтверждать выводы данными, обсуждать спорные вопросы конструктивно и доводить проблемы до решения.

Будет преимуществом:

• Опыт работы с PostgreSQL и ClickHouse — эти базы используются в проекте.
• Опыт с биллингом, тарификацией, финансовыми сверками или контролем облачных расходов.
• Опыт аналитики API-сервисов, платёжных систем, телекома или других продуктов с большим объёмом транзакций.
• Опыт построения регулярного мониторинга, автоматических проверок и дашбордов.
• Знакомство с LLM API, учётом входных и выходных токенов, кешированием и маршрутизацией запросов.
• Английский для чтения документации и переписки с поставщиками.

Что мы предлагаем:

• Удаленный формат работы по московскому часовому поясу с гибким началом дня.
• Оформление по ТК РФ, полностью “белая” заработная плата.
• Оклад 180 000 руб на руки + гарантированная квартальная премия.
• Возможность реально влиять на бизнес и развитие продукта.
• Пространство для применения текущей экспертизы и приобретения новых компетенций.
• Развитая корпоративная среда, где ценится инициатива и поддерживаются идеи.
• Доступ к профессиональной литературе, курсам и материалам для постоянного развития.
• Регулярный Perfomance-Review, результаты которого напрямую влияют на повышение грейда и пересмотр дохода.

Этапы:

1. Скрининг резюме

2. Тестовое задание

3. Встреча с HR

4. Встреча с Head of LLM Router

5. Принятие решения об оффере