モデルルーター

このページの内容

モデルルーター は、OpenAI 互換の単一のエンドポイントを通じて、主要な AI モデルのカタログへのプリペイド方式のアクセスを施設に提供します。Performance Hub の AI Agents は設定なしで自動的に接続し、Workflows も接続できます。また、独自の API キーを発行して、予約アシスタント、クリニックの受付フォーム、ホテルのコンシェルジュアプリなど、サードパーティ製や社内開発のソフトウェアに同じモデルを組み込むこともできます。USD 建ての残高をチャージし、支出の上限を設定し、すべてのリクエストをリアルタイムで確認できます。これらすべてを 1 か所で行えます。

クイックリファレンス

場所: メインメニュー → モデルルーター(Technology Stack の施設)。このモジュールは、メインメニューの AI Modules & Agents グループにあります。

アクセスできるユーザー: 組織管理者のみ(Technology Stack の施設)。

目的: プリペイド残高で AI 推論を購入します。API キー、支出の上限、自動チャージ、使用状況を管理します。

全体の仕組み

  • 施設は USD 建ての プリペイド残高 を保持します。保存済みの請求用カードで(手動または自動で)チャージし、AI リクエストのたびに、処理したモデルの料金分が残高から差し引かれます。
  • モデルカタログ には、多数のプロバイダーのモデルが含まれます。すべてのモデルはデフォルトで有効です。施設ごとに個々のモデルをオンまたはオフにでき、さらに API キーごと、または接続されたサービスごとに制限できます。
  • モデルを利用する方法は 2 つ あります。
    • Connected Services:ペアリングされた AIエージェントデバイスは API キーなしで自動的に接続し、Workflows も接続できます。
    • 独自の API キー:キーを発行し、OpenAI 互換の任意の SDK やツールの接続先を Performance Hub のエンドポイントに設定します。
  • Spend Limits(日次、月次、および累計のハードキャップ)を使うと、残高とは別に、すべてのキーと接続されたサービス全体の支出を制限できます。さらに、キーごと、サービスごとにより厳しい上限を設定することもできます。
  • モデル、トークン、コスト、レイテンシ、ステータスなど、すべてのリクエストが Activity の分析と Logs タブに記録されます。プロンプトとレスポンスの内容が保存されることはありません。

主要なエリア

このモジュールには 4 つのタブと設定エリア(右上の歯車アイコン)があります。

エリアできること
Overviewダッシュボードです。利用可能残高、本日と今月の支出、推定残り期間、支出とリクエストのグラフ、信頼性の概要、予算の使用状況、上位のエージェントとキーを表示します。
Activity4 つのビュー(Overview、Trends、Performance、Explore)による詳細な使用状況の分析、キー/エージェントとモデルによるフィルター、CSV エクスポートを利用できます。
Budgets & Limits2 つのサブタブがあります。Spend Limits(アカウント全体の日次/月次/累計の上限とサービスごとの上限)と Balance & Top-up(手動チャージ、自動チャージ、取引履歴、月間使用量)です。
Logsリクエストごとの監査証跡です。各リクエストのモデル、トークン、コスト、速度、ステータスを、ライブ更新、検索、フィルター、詳細ドロワーとともに表示します。
Settings(歯車)Models(カタログのモデルの有効化/無効化、Auto Router の編集)、Service Access & API Keys(接続されたサービス、API キー、API の接続情報)、Guardrails(コンテンツ保護とカスタムコンテンツフィルター)です。

Overview ダッシュボード

Overview タブには、アカウントの概要がひと目でわかるようにまとめられています。

クイックビューのチップ付きの Overview 統計バンドクイックビューのチップ付きの Overview 統計バンド

図 1:統計バンド(Available balance、Spent today、Spent this month、Estimated runway)と、自動チャージ、上限、モデル、接続されたサービスのクイックビューのチップ

統計バンドの下には、自動チャージ、支出の上限、有効なモデル、オンラインの接続されたサービスの数をまとめたチップが表示されます。残高が自動チャージのしきい値以下になると、その横に Low balance チップが表示されます。

  • 利用可能残高:現時点で残っているプリペイドクレジットです。
  • Spent today / Spent this month:当日と当月(施設の現地時間)の使用料金です。
  • Estimated runway:"Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."

Spend over time と Spend by model のグラフSpend over time と Spend by model のグラフ

図 2:Spend over time(過去 14 日間、前の期間との比較付き)と Spend by model

Requests over time と Reliability & speedRequests over time と Reliability & speed

図 3:モデル別の Requests over time と、エラー率、p95 レイテンシ、レイテンシの推移を示す Reliability & speed

Budget usage と Top agents & keysBudget usage と Top agents & keys

図 4:Budget usage と、支出順に並んだ Top agents & keys

Activity ヒートマップActivity ヒートマップ

図 5:Activity ヒートマップ。1 年分の使用状況を Tokens、Spend、Requests で切り替えて表示でき、最長連続日数と日次・週次の平均も表示されます

ドキュメントガイド

概念

  • 仕組み:概念モデルです。プリペイド残高と支出の上限の違い、2 つのアクセス方法、リクエストの料金の決まり方、用語集の全体を説明しています。

はじめに

  • はじめに:モジュールの有効化、最初のチャージ、最初のリクエストについて説明しています。
  • アプリケーションの接続:独自のソフトウェア向けのクイックスタートです。ベース URL、認証、curl / Python / TypeScript の例を紹介しています。

アクセスの管理

  • Models:カタログ、モデルの有効化と無効化、クイックプリセット、Auto Router について説明しています。
  • API キー:キーの作成、一度だけのシークレット表示、キーごとの支出上限、レート制限、モデルの制限、ローテーション/取り消し/削除のライフサイクルについて説明しています。
  • Connected Services:ペアリングされた AI Agents と Workflows の接続方法と、それぞれを制限する方法について説明しています。
  • Guardrails:コンテンツ保護(PII のマスキング、シークレットの秘匿化、プロンプトインジェクション対策)とカスタムコンテンツフィルターについて説明しています。

料金とモニタリング

  • 予算とチャージ:残高、手動チャージと自動チャージ、領収書、取引履歴、月間使用量、支出の上限について説明しています。
  • アクティビティとログ:分析ビュー、CSV エクスポート、リクエストログについて説明しています。

リファレンス

  • リファレンス:すべての設定、デフォルト値、上限、エラーレスポンスを 1 か所にまとめています。
  • トラブルシューティング:ブロックされたリクエスト、キーの問題、残高に関する疑問について、症状ごとの対処法を説明しています。
  • よくある質問:FAQ です。

はじめにのチェックリスト

進めながら項目にチェックを入れてください。進捗はこのブラウザーに保存され、一覧を印刷することもできます。

モデルルーターのチェックリスト
6 件中 0 件完了

施設の選択

このモジュールは施設ごとに設定します。Performance Hub のメインツールバーにある施設セレクターで、設定する施設を選択します。施設のコンテキストを読み込んでいる間、モジュールには "Loading facility context…" と表示されます。