Model Router

本页内容

Model Router 通过一个兼容 OpenAI 的单一端点,为您的设施提供预付费访问一系列领先 AI 模型的能力。您的 Performance Hub AI Agents 无需任何设置即可自动连接到它,Workflows 也可以连接;您还可以配置自己的 API 密钥,将相同的模型接入第三方或自研软件,例如预订助手、诊所登记表或酒店礼宾应用。您可以充值美元余额、设置支出限额,并实时查看每个请求,所有操作都在一个位置完成。

快速参考

**位置:**主菜单 → Model Router(Technology Stack 设施)。该模块位于主菜单的 AI Modules & Agents 分组中。

**谁可以访问:**仅限 Organisation Administrator(Technology Stack 设施)。

**用途:**以预付余额购买 AI 推理服务:管理 API 密钥、支出限额、自动充值和使用情况。

各部分如何协同工作

  • 您的设施持有以美元计的预付余额。您可以使用已保存的账单卡(手动或自动)充值,每个 AI 请求都会按处理该请求的模型价格从余额中扣款。
  • 模型目录涵盖来自众多提供商的模型。所有模型默认启用;您可以为您的设施开启或关闭单个模型,并按 API 密钥或按已连接服务进一步限制。
  • 使用模型有两种方式:
    • Connected Services:已配对的人工智能代理设备会自动连接,无需 API 密钥,Workflows 也可以连接。
    • 您自己的 API 密钥:配置密钥,并将任何兼容 OpenAI 的 SDK 或工具指向 Performance Hub 端点。
  • 支出限额(每日、每月以及终身硬性上限)可让您独立于余额限制所有密钥和已连接服务的支出;此外还可以设置更严格的按密钥和按服务限额。
  • 每个请求(模型、令牌、成本、延迟和状态)都会记录在 Activity 分析和 Logs 选项卡中。提示和响应内容永远不会被存储。

主要区域

该模块包含四个选项卡以及一个 Settings 区域(右上角的齿轮图标):

区域您在此处执行的操作
Overview仪表板:可用余额、今日和本月支出、预计可用时长、支出和请求图表、可靠性概览、预算使用情况,以及排名靠前的代理和密钥。
Activity深入的使用情况分析,包含四个视图(Overview、Trends、Performance、Explore),可按密钥/代理和模型筛选,并支持 CSV 导出。
Budgets & Limits两个子选项卡:Spend Limits(账户范围的每日/每月/终身上限以及按服务限额)和 Balance & Top-up(手动充值、自动充值、交易历史记录和每月使用情况)。
Logs按请求的审计记录:每个请求的模型、令牌、成本、速度和状态,支持实时刷新、搜索、筛选和详细信息抽屉。
Settings(齿轮)Models(启用/禁用目录中的模型,编辑 Auto Router)、Service Access & API Keys(已连接服务、API 密钥和 API 连接详细信息)以及 Guardrails(内容保护和自定义内容过滤器)。

Overview 仪表板

Overview 选项卡一目了然地汇总您的账户情况。

Overview 统计栏及快速概览标签Overview 统计栏及快速概览标签

图 1:统计栏(Available balance、Spent today、Spent this month 和 Estimated runway),以及自动充值、限额、模型和已连接服务的快速概览标签

统计栏下方的标签汇总了自动充值、支出限额、已启用的模型以及在线的已连接服务数量。当余额等于或低于自动充值阈值时,旁边会出现 Low balance 标签。

  • Available balance:当前剩余的预付额度。
  • Spent today / Spent this month:当天和当前日历月的使用费用(设施当地时间)。
  • Estimated runway:"Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."

Spend over time 和 Spend by model 图表Spend over time 和 Spend by model 图表

图 2:Spend over time(过去 14 天,并显示与上一周期相比的变化)和 Spend by model

Requests over time 和 Reliability & speedRequests over time 和 Reliability & speed

图 3:按模型显示的 Requests over time,以及包含错误率、p95 延迟和延迟随时间变化的 Reliability & speed

Budget usage 和 Top agents & keysBudget usage 和 Top agents & keys

图 4:Budget usage 以及按支出排名的 Top agents & keys

Activity 热图Activity 热图

图 5:Activity 热图:一年的使用情况,可在 Tokens、Spend 和 Requests 之间切换,并显示最长连续使用天数以及每日和每周平均值

文档指南

概念

  • 工作原理:概念模型:预付余额与支出限额、两种访问方式、请求如何计价,以及完整的术语表。

入门

  • 入门:启用模块、首次充值和首次请求。
  • 连接您的应用程序:适用于您自己软件的快速入门:基础 URL、身份验证,以及 curl / Python / TypeScript 示例。

管理访问

  • Models:模型目录、启用和禁用模型、快速预设以及 Auto Router。
  • API 密钥:创建密钥、一次性密钥显示、按密钥支出上限、速率限制、模型限制,以及轮换/吊销/删除生命周期。
  • Connected Services:已配对的 AI Agents 和 Workflows 如何连接,以及如何为每一个设置限制。
  • Guardrails:内容保护(PII 遮蔽、机密信息隐去、提示注入防护)和自定义内容过滤器。

费用与监控

  • 预算与充值:余额、手动和自动充值、收据、交易历史记录、每月使用情况以及支出限额。
  • 活动与日志:分析视图、CSV 导出和请求日志。

参考

  • 参考:所有设置、默认值、限制和错误响应汇总于一处。
  • 故障排除:按症状逐一解决请求被阻止、密钥问题和余额问题。
  • 常见问题:常见问题解答。

入门清单

完成一项勾选一项:您的进度会保存在此浏览器中,您也可以打印此清单。

Model Router 清单
已完成 0/6

选择设施

该模块按设施进行配置。使用 Performance Hub 主工具栏中的设施选择器选择要配置的设施。在加载设施上下文时,模块会显示 "Loading facility context…"。