工作原理

本页内容

本页介绍 Model Router 背后的概念：阅读一遍后，其他各页面的内容都会更容易理解。

预付余额

您的设施持有以美元计的预付余额。余额只会朝两个方向变动：

增加：当您充值时（手动充值、自动充值，或通过入账到您账户的调整）。充值会立即显示。
减少：随着使用费用的产生。使用情况由推理服务实时报告，并每 15 分钟与您的预付余额核对一次，因此最近的活动可能需要几分钟才会显示在 Monthly usage 中。交易历史记录只列出充值和余额调整。

余额是财务上的硬性屏障：当余额降至零时，推理请求将因额度不足错误而被阻止，直到您充值为止。余额为零时仍可列出模型，因此集成可以在您为账户充值之前了解模型目录。

模型目录

目录包含来自众多提供商的模型，每个模型按每百万令牌计价（输入和输出分别计价，显示在 Models 设置中）。所有模型默认为您的设施启用；您可以：

在 Settings → Models 中在账户范围内禁用模型（至少必须保留一个已启用的模型）。
按 API 密钥或按已连接服务限制模型：在设施已启用模型的基础上进一步缩小范围。

目录中有一个特殊条目 auto（即 Auto Router），它本身没有价格。对于每个请求，它会根据提示的复杂程度自动选择最佳模型，并按所选模型的费率计费。请参阅 Models。

使用模型的两种方式

1. 已连接服务

与您的设施配对的人工智能代理设备会自动连接到 Model Router（无需在设备上输入任何 API 密钥），Workflows 也可以连接。每个已连接服务都会显示在 Settings → Service Access & API Keys 的 Connected Services 下，并附有各自的支出数据；您可以为每个服务分别设置支出限额、模型限制和防护规则覆盖。请参阅 Connected Services。

2. 您自己的 API 密钥

您可以配置 API 密钥（以 phk_ 开头），使支持 BYOK（Bring Your Own Key，自带密钥）的第三方软件和系统能够连接到 Performance Hub 发布的模型。该端点兼容 OpenAI：将任何 OpenAI SDK 或工具指向基础 URL，并使用您的密钥进行身份验证即可。请参阅 API 密钥和连接您的应用程序。

两种方式都从同一余额中扣款，遵守相同的账户范围支出限额，显示在相同的 Activity 分析和 Logs 中，并且都可以单独设置约束。

余额与支出限额

这是两种不同的机制，并且两者同时适用：

	预付余额	支出限额
是什么	您已充入的资金	您选择的策略上限
到达边界时会发生什么	余额降至 $0 时请求被阻止	达到上限时请求被阻止
如何恢复	充值（或自动充值）	每日和每月限额会自动重置；终身硬性上限只有在您重置时才会重置
范围	整个设施	整个设施（Account Limits），以及可选的更严格的按密钥/按服务限额

账户支出限额有三种时间窗口：每日（每天在设施当地时间午夜重置）、每月（每月 1 日按设施当地时间重置）以及终身硬性上限（统计自上次手动重置以来的支出；永远不会自动重置）。可以同时启用任意组合，限额适用于所有 API 密钥和已连接服务的合计支出。预付余额仍会叠加生效。

按密钥和按服务的限额以相同方式运作（每日、每月、终身），但只统计该密钥或服务的支出。达到限额时，只有该密钥或服务会被阻止，设施的其余部分仍可正常工作。

请求的处理过程

请求到达端点时，将按以下顺序进行检查：

身份验证：有效的 API 密钥或已连接服务身份。对于 API 密钥，如果设施未启用 Model Router，请求会在此处被拒绝并返回 HTTP 403（"Model Router is not enabled for this facility"）。列出模型 (GET /v1/models) 的请求在身份验证后立即得到响应，因此余额为零时仍可正常使用。
预付额度检查：可用余额必须大于 $0（对于已连接服务，还必须已启用 Model Router）；否则请求将被拒绝，并返回额度不足错误 (HTTP 402)。
账户支出限额：如果超出每日、每月或终身上限，请求将被拒绝，并返回预算超限错误 (HTTP 402)，其中会按您设施的时区注明时间窗口的重置时间。
按密钥/按服务支出限额：相同的检查，但范围限于发出调用的密钥或服务。
提示检查：对提示运行提示注入防护和您的自定义内容过滤器。阻止过滤器或检测到注入时，请求将被拒绝（HTTP 403，内容策略违规）；隐去过滤器会将匹配项改写为 [REDACTED] 并允许请求继续。
模型路由：Auto Router 将 auto 解析为具体模型（包含图片的请求会发送到您允许的具备视觉能力的模型）。回退模型会被筛选为该密钥可以使用的模型；当请求未自行设置推理选项时，会应用您的推理设置；请求的输出上限会被限制在模型支持的范围内。
推理：PII 遮蔽和机密信息隐去（如已启用）由推理服务在提示到达模型之前应用；然后请求被发送到模型提供商，响应以流式方式返回。

速率限制（每分钟请求数和每分钟令牌数，如已在密钥或服务上设置）在整个过程中都会执行；超出限制时返回 HTTP 429。

记录的内容

每个请求都会连同其元数据一起记录：时间、模型（请求的模型和路由器解析出的模型）、提供商、令牌（提示、补全、缓存、推理）、成本、延迟、首个令牌时间、速度、状态以及发出调用的密钥或服务。提示和响应内容永远不会被存储。

模块中显示的使用情况和支出数据与用于执行限额的数据完全相同，因此您看到的“已达到限额”正是实际被阻止的情况。

术语表

术语	含义
Available balance	当前剩余的预付额度（已入账总额减去实时支出）。
Auto Router	`auto` 模型：根据提示复杂程度将每个请求路由到具体模型；按解析出的模型的费率计费。
自动充值	当余额低于您设置的阈值时，自动从您保存的卡扣款。
BYOK	“Bring Your Own Key”（自带密钥）：接受自定义兼容 OpenAI 的端点和 API 密钥的第三方软件。
已连接服务	连接到 Model Router 的已配对人工智能代理或 Workflow。每个服务都使用自己的身份、支出限额、模型限制和防护规则覆盖，无需由您管理的 API 密钥。
内容过滤器	针对提示内容进行评估的自定义正则表达式；匹配项会被隐去，或者请求被阻止。
Estimated runway	按本月平均每日支出估算的余额可用时长。
防护规则	内置的内容保护（PII 遮蔽、机密信息隐去、提示注入防护），可在设施范围内或按密钥、按服务应用。
终身硬性上限	统计自上次手动重置以来支出的支出上限；永远不会自动重置。
Monthly usage	从余额中扣除的使用费用，按日历月 (UTC) 分组，每个月都提供使用情况对账单 (PDF) 和使用明细 (CSV)。
速率限制	按密钥/按服务对每分钟请求数和每分钟令牌数设置的上限。
已核对支出	每 15 分钟与您的预付余额核对一次的使用费用。
支出限额	达到时会阻止请求的策略上限（每日/每月/终身），与余额无关。
充值	从您保存的账单卡扣款，并将款项计入预付余额。
交易历史记录	充值和余额调整的列表，并显示每笔交易后的余额。使用费用则汇总在 Monthly usage 中。