Model Router
На этой странице
Model Router предоставляет вашему объекту предоплаченный доступ к каталогу ведущих ИИ-моделей через единую конечную точку, совместимую с OpenAI. Ваши AI Agents в Performance Hub подключаются к нему автоматически без какой-либо настройки, Workflows тоже могут подключаться, а вы можете создавать собственные API-ключи, чтобы подключить те же модели к стороннему или собственному ПО — помощнику по бронированию, форме приёма пациентов в клинике или приложению консьержа отеля. Вы пополняете баланс в долларах США, задаёте лимиты расходов и отслеживаете каждый запрос в реальном времени — всё в одном месте.
Краткая справка
Где найти: главное меню → Model Router (объекты Technology Stack). Модуль находится в группе AI Modules & Agents главного меню.
Кто имеет доступ: только Organisation Administrator (объекты Technology Stack).
Назначение: покупка ИИ-инференса за счёт предоплаченного баланса: управление API-ключами, лимитами расходов, автоматическим пополнением и использованием.
Как всё устроено
- У вашего объекта есть предоплаченный баланс в долларах США. Вы пополняете его с помощью сохранённой платёжной карты (вручную или автоматически), и каждый ИИ-запрос списывает средства с баланса по цене модели, которая его обработала.
- Каталог моделей включает модели многих поставщиков. Все модели включены по умолчанию; вы можете включать и отключать отдельные модели для своего объекта, а также дополнительно ограничивать их для каждого API-ключа или подключённого сервиса.
- Есть два способа использования моделей:
- Connected Services — сопряжённые устройства ИИ-агентов подключаются автоматически без API-ключа, и Workflows тоже могут подключаться.
- Ваши собственные API-ключи — создайте ключи и направьте любой SDK или инструмент, совместимый с OpenAI, на конечную точку Performance Hub.
- Лимиты расходов (ежедневный, ежемесячный и жёсткий пожизненный лимит) позволяют ограничивать расходы независимо от баланса для всех ключей и подключённых сервисов, а поверх них можно задать более строгие лимиты для отдельных ключей и сервисов.
- Каждый запрос — модель, токены, стоимость, задержка и статус — записывается в аналитике Activity и на вкладке Logs. Содержимое запросов и ответов никогда не сохраняется.
Основные области
Модуль содержит четыре вкладки и область Settings (значок шестерёнки в правом верхнем углу):
| Область | Что там можно делать |
|---|---|
| Overview | Панель инструментов: доступный баланс, расходы за сегодня и за этот месяц, расчётный запас, графики расходов и запросов, сводка надёжности, использование бюджета, а также ведущие агенты и ключи. |
| Activity | Подробная аналитика использования с четырьмя представлениями (Overview, Trends, Performance, Explore), фильтрами по ключу/агенту и модели и экспортом в CSV. |
| Budgets & Limits | Две вложенные вкладки: Spend Limits (общие для учётной записи ежедневные, ежемесячные и пожизненные лимиты, а также лимиты для отдельных сервисов) и Balance & Top-up (ручное пополнение, автоматическое пополнение, история транзакций и ежемесячное использование). |
| Logs | Журнал аудита по каждому запросу: модель, токены, стоимость, скорость и статус каждого запроса с обновлением в реальном времени, поиском, фильтрами и панелью сведений. |
| Settings (шестерёнка) | Models (включение и отключение моделей каталога, изменение Auto Router), Service Access & API Keys (подключённые сервисы, API-ключи и сведения о подключении к API) и Guardrails (защита содержимого и настраиваемые фильтры содержимого). |
Панель инструментов Overview
Вкладка Overview кратко показывает сводку по вашей учётной записи.
Рисунок 1. Полоса показателей (Available balance, Spent today, Spent this month и Estimated runway) и краткие индикаторы автоматического пополнения, лимитов, моделей и подключённых сервисов
Под полосой показателей индикаторы кратко показывают автоматическое пополнение, лимиты расходов, включённые модели и количество подключённых сервисов в сети. Рядом с ними появляется индикатор Low balance, когда баланс равен порогу автоматического пополнения или ниже его.
- Available balance — оставшийся на данный момент предоплаченный кредит.
- Spent today / Spent this month — плата за использование за текущий день и календарный месяц (по местному времени объекта).
- Estimated runway — "Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."
Рисунок 2. Spend over time (последние 14 дней с изменением по сравнению с предыдущим периодом) и Spend by model
Рисунок 3. Requests over time по моделям, а также Reliability & speed с частотой ошибок, задержкой p95 и задержкой во времени
Рисунок 4. Budget usage и Top agents & keys, ранжированные по расходам
Рисунок 5. Тепловая карта Activity: использование за год с переключением между Tokens, Spend и Requests, самой длинной серией, а также средними значениями за день и за неделю
Руководство по документации
Основные понятия
- Как это работает — концептуальная модель: предоплаченный баланс и лимиты расходов, два способа доступа, ценообразование запросов и полный глоссарий.
Начало работы
- Начало работы — включение модуля, первое пополнение и первый запрос.
- Подключение вашего приложения — краткое руководство для вашего собственного ПО: базовый URL, аутентификация и примеры на curl, Python и TypeScript.
Управление доступом
- Models — каталог, включение и отключение моделей, быстрые предустановки и Auto Router.
- API-ключи — создание ключей, однократное отображение секрета, лимиты расходов для отдельных ключей, ограничения частоты запросов, ограничения моделей и жизненный цикл ротации, отзыва и удаления.
- Connected Services — как подключаются сопряжённые AI Agents и Workflows и как ограничивать каждый из них.
- Guardrails — защита содержимого (маскирование персональных данных, скрытие секретов, защита от внедрения запросов) и настраиваемые фильтры содержимого.
Деньги и мониторинг
- Бюджеты и пополнения — баланс, ручное и автоматическое пополнение, квитанции, история транзакций, ежемесячное использование и лимиты расходов.
- Активность и журналы — представления аналитики, экспорт в CSV и журнал запросов.
Справочник
- Справочник — все параметры, значения по умолчанию, ограничения и ответы с ошибками в одном месте.
- Устранение неполадок — решения по симптомам для заблокированных запросов, проблем с ключами и вопросов о балансе.
- Часто задаваемые вопросы — ответы на частые вопросы.
Контрольный список для начала работы
Отмечайте пункты по мере выполнения — ваш прогресс сохраняется в этом браузере, а список можно распечатать.
Выбор объекта
Модуль настраивается для каждого объекта отдельно. Используйте селектор объекта на главной панели инструментов Performance Hub, чтобы выбрать объект для настройки. Пока загружается контекст объекта, модуль показывает сообщение "Loading facility context…".