常见问题
本页内容
访问
谁可以使用 Model Router? Technology Stack 设施的 Organisation Administrator。可从主菜单的 AI Modules & Agents 分组中打开。
计费与额度
这是订阅服务吗? 不是,它是预付费的。您为美元余额充值,使用费用会按每个模型的每令牌价格从余额中扣除。除您实际使用的部分外,没有任何周期性的 AI 费用。
余额用完时会发生什么? 推理请求将因额度不足错误而被阻止,直到您充值为止。不会丢失任何内容:密钥、已连接服务、设置和历史记录都会保留,充值后片刻之内请求即可恢复。启用自动充值可避免中断。
未使用的余额可以退款吗? 请提出支持请求。退款会以单独的类型显示在交易历史记录中。
我会收到收据吗? 会。每笔充值都有收据编号,并可在交易详细信息抽屉中下载 PDF,收据也会通过电子邮件发送给您设施的账单联系人。要一次下载多张收据,请在交易历史记录中勾选相应的行,然后点击 Download receipts (n)。使用费用不提供收据:Monthly usage 会为每个月提供使用情况对账单 (PDF) 和使用明细 (CSV)。这些是使用情况对账单,而不是发票。Model Router 收据还会与设施的其他账单文档一起显示在 Billing & Cost Management 的 Invoices & Receipts 中。
为什么“Spent today”与 Monthly usage 不一致? Spent today 和可用余额是实时的,而 Monthly usage 每 15 分钟与您的余额核对一次。两者会在下一次核对时趋于一致。交易历史记录只列出充值和余额调整,因此使用费用根本不会显示在那里。
Auto Router 如何计价? 它本身没有价格:您按它为每个请求选择的模型的费率付费。日志会显示所选的是哪个模型。
隐私与数据
我的提示或 AI 的响应会被存储吗? 不会。Activity 和 Logs 只记录元数据:模型、令牌、成本、延迟、状态和调用方。Performance Hub 永远不会存储提示和响应内容。
我能阻止个人数据发送到模型吗? 可以。在 Settings → Guardrails 下启用 PII masking,并针对特定领域的内容添加自定义内容过滤器。请参阅 Guardrails。
我能限制数据发送到哪些提供商吗? 可以。Models 页面提供一键预设(例如 Western providers,其说明为 "data-sovereignty friendly",即有利于数据主权)以及按模型的开关。密钥和已连接服务还可以进一步限制。请参阅 Models。
API 密钥与集成
我可以连接哪些软件? 任何支持 OpenAI API 并允许您设置自定义基础 URL 和 API 密钥 (BYOK) 的软件:OpenAI SDK、大多数 AI 框架以及许多现成工具。请参阅连接您的应用程序。
创建密钥后还能再次查看密钥吗? 不能,它只显示一次。如果丢失,请对该密钥执行 Rotate 以获取新密钥。
我应该创建多少个密钥? 每个系统一个。通过标签,可以在 Activity 和 Logs 中看到每个系统的使用情况,并且在某个密钥泄露时可以单独轮换,而不影响其他任何内容。
吊销密钥和删除密钥有什么区别? 吊销会立即禁用密钥,但可以恢复(Re-activate 可将其恢复)。删除是永久性的。
能否将一个密钥限制为只能使用特定模型? 可以,在密钥配置中使用 Restrict models for this key。这同样适用于每个已连接服务。
AI Agents 和 Workflows
我的 AI Agents 需要 API 密钥吗? 不需要。与您的设施配对的代理会使用由 Performance Hub 管理的按设备凭据自动连接。它们显示在 Settings → Service Access & API Keys → Connected Services 下,并拥有各自的支出和控制设置。
Workflows 可以使用 Model Router 吗? 可以。Workflows 可以作为服务进行连接,之后会与您的 AI Agents 一起显示在 Connected Services 下。
我能限制单个代理或 Workflow 的支出吗? 可以。可以设置按服务的每日、每月和终身限额,以及速率限制、模型限制和防护规则覆盖。请参阅 Connected Services。
模型与路由
我的集成应该使用哪个模型?
推荐默认使用 auto(Auto Router):它会将每个请求路由到与其复杂程度相适应的模型,因此简单任务交给快速、低成本的模型,困难任务则交给能力最强的模型。您也可以使用为您的设施启用的任何特定模型 ID。
为什么日志中显示的模型与我请求的不同?
您请求的是 auto:日志显示的是路由器最终选择的模型,请求抽屉会将 auto 记录为 Requested model。这是预期行为。
我能更改 auto 的路由目标吗?
可以。通过 Auto Router 卡片上的 Edit routing,您可以为您的设施选择每个复杂度层级所用的模型,并可使用 Reset to default。请参阅 Models。
我想要的模型不在目录中。 使用 Models 页面上的 Raise a support request 链接:"Want to see a model added? Raise a support request and we'll add it if it's generally available."(希望添加某个模型?请提出支持请求,如果该模型已正式发布,我们会将其添加。)
限额
余额和支出限额有什么区别? 余额是您充入的资金;支出限额是您选择的策略上限。两者都可能阻止请求:余额为空时会一直阻止,直到您充值;达到限额时会一直阻止,直到其时间窗口重置(或您更改限额)。请参阅工作原理。
每日和每月限额具体在什么时候重置? 每日限额在午夜重置,每月限额在每月 1 日重置,均按设施的当地时区计算。预算超限错误消息会注明确切的重置时间。
终身硬性上限会自行重置吗? 不会。它统计自上次手动重置以来的支出。Reset hard cap 会将计数器从 $0 重新开始(上限金额不变),并将已结束的周期保存到重置历史记录中。
按密钥限额和账户限额会叠加吗? 会,两者都适用。请求必须同时通过账户限额以及调用方密钥或服务自身的限额(以及余额检查)才能运行。