작동 방식

이 페이지에서는 Model Router의 기본 개념을 설명합니다. 한 번 읽어 두면 다른 모든 페이지를 더 쉽게 이해할 수 있습니다.

선불 잔액

시설은 USD로 된 선불 잔액을 보유합니다. 잔액은 두 방향으로만 변합니다.

• 충전하면(수동, 자동 충전 또는 계정에 추가된 조정을 통해) 증가합니다. 충전 금액은 즉시 반영됩니다.
• 사용량이 발생하면 감소합니다. 사용량은 추론 서비스에서 실시간으로 보고되고 15분마다 선불 잔액과 대조되므로, 아주 최근의 활동은 Monthly usage에 표시되기까지 몇 분이 걸릴 수 있습니다. 거래 내역에는 충전과 잔액 조정만 나열됩니다.

잔액은 재정적 한계선입니다. 잔액이 0에 도달하면 충전할 때까지 추론 요청이 insufficient credits 오류로 차단됩니다. 잔액이 0이어도 모델 목록 조회는 작동하므로, 계정에 자금을 충전하기 전에도 통합에서 카탈로그를 확인할 수 있습니다.

모델 카탈로그

카탈로그에는 여러 공급자의 모델이 포함되어 있으며, 각 모델의 가격은 100만 토큰 단위로 책정됩니다(입력과 출력 가격이 별도이며 Models 설정에 표시됨). 시설에서는 모든 모델이 기본적으로 활성화되어 있으며, 다음을 할 수 있습니다.

• Settings → Models에서 계정 전체에 대해 모델을 비활성화합니다(최소 하나의 모델은 활성화되어 있어야 함).
• API 키별 또는 연결된 서비스별로 모델을 제한합니다. 시설에서 활성화된 모델 세트 위에 더 좁은 목록을 적용합니다.

특별한 카탈로그 항목인 auto(Auto Router)에는 자체 가격이 없습니다. 각 요청에 대해 프롬프트의 복잡도에 따라 가장 적합한 모델을 자동으로 선택하며, 선택된 모델의 요율로 청구됩니다. Models를 참조하십시오.

모델을 사용하는 두 가지 방법

1. 연동된 서비스

시설과 페어링된 AI 에이전트 기기는 Model Router에 자동으로 연결되며(기기에 API 키를 입력할 필요가 전혀 없음), Workflows도 연결할 수 있습니다. 각 연결된 서비스는 Settings → Service Access & API Keys의 Connected Services에 자체 지출 수치와 함께 표시되며, 각 서비스에 고유한 지출 한도, 모델 제한, Guardrails 재정의를 지정할 수 있습니다. Connected Services를 참조하십시오.

2. 자체 API 키

API 키(phk_로 시작)를 발급하면 BYOK(Bring Your Own Key)를 지원하는 타사 소프트웨어와 시스템이 Performance Hub가 게시한 모델에 연결할 수 있습니다. 엔드포인트는 OpenAI 호환이므로 OpenAI SDK나 도구가 기본 URL을 가리키도록 설정하고 키로 인증하면 됩니다. API 키 및 애플리케이션 연결을 참조하십시오.

두 경로 모두 같은 잔액을 사용하고, 같은 계정 전체 지출 한도를 따르며, 같은 Activity 분석과 Logs에 표시되고, 개별적으로 제한할 수 있습니다.

잔액과 지출 한도

이 둘은 서로 다른 메커니즘이며 둘 다 적용됩니다.

계정 지출 한도에는 세 가지 기간이 있습니다. 일별(매일 자정에 시설 현지 시간 기준으로 초기화), 월별(매월 1일에 시설 현지 시간 기준으로 초기화), 전체 기간 하드 캡(마지막 수동 초기화 이후의 지출을 계산하며 자동으로 초기화되지 않음)입니다. 여러 한도를 조합하여 동시에 활성화할 수 있으며, 한도는 모든 API 키와 연결된 서비스를 합산하여 적용됩니다. 선불 잔액도 그 위에 계속 적용됩니다.

키별 및 서비스별 한도도 같은 방식(일별, 월별, 전체 기간)으로 작동하지만 해당 키나 서비스의 지출만 계산합니다. 한도에 도달하면 해당 키나 서비스만 차단되고 시설의 나머지는 계속 작동합니다.

요청 처리 방식

요청이 엔드포인트에 도착하면 다음 순서로 검사가 실행됩니다.

1. 인증 — 유효한 API 키 또는 연결된 서비스 ID여야 합니다. API 키의 경우 Model Router가 활성화되지 않은 시설은 이 단계에서 HTTP 403("Model Router is not enabled for this facility")으로 거부됩니다. 모델 목록 조회(GET /v1/models)는 인증 직후 응답하므로 잔액이 0이어도 계속 작동합니다.
2. 선불 크레딧 확인 — 사용 가능한 잔액이 $0보다 커야 합니다(연결된 서비스의 경우 Model Router도 활성화되어 있어야 함). 그렇지 않으면 요청이 insufficient credits 오류(HTTP 402)로 거부됩니다.
3. 계정 지출 한도 — 일별, 월별 또는 전체 기간 한도를 초과하면 요청이 budget exceeded 오류(HTTP 402)로 거부되며, 오류에 시설 시간대 기준으로 기간이 언제 초기화되는지 표시됩니다.
4. 키별/서비스별 지출 한도 — 같은 검사를 호출하는 키나 서비스 범위로 수행합니다.
5. 프롬프트 검사 — 프롬프트에 대해 Prompt-injection shield와 사용자 지정 콘텐츠 필터가 실행됩니다. block 필터나 인젝션 탐지에 걸리면 요청이 거부되며(HTTP 403, content policy violation), redact 필터는 일치 항목을 [REDACTED]로 바꾸고 요청을 계속 진행합니다.
6. 모델 라우팅 — Auto Router가 auto를 구체적인 모델로 결정합니다(이미지가 포함된 요청은 허용된 비전 지원 모델로 전송됨). 대체 모델은 키가 사용할 수 있는 모델로 필터링되고, 요청에 자체 설정이 없으면 추론 설정이 적용되며, 요청한 출력 한도는 모델이 지원하는 범위로 조정됩니다.
7. 추론 — PII masking과 Secret redaction(활성화된 경우)은 프롬프트가 모델에 도달하기 전에 추론 서비스에서 적용됩니다. 그런 다음 요청이 모델 공급자에게 전달되고 응답이 스트리밍으로 돌아옵니다.

속도 제한(키나 서비스에 설정된 경우 분당 요청 수 및 분당 토큰 수)은 전 과정에 걸쳐 적용되며, 초과하면 HTTP 429가 반환됩니다.

기록되는 내용

모든 요청은 메타데이터와 함께 기록됩니다. 시간, 모델(요청한 모델과 라우터가 결정한 모델 모두), 공급자, 토큰(프롬프트, 완성, 캐시, 추론), 비용, 지연 시간, 첫 토큰까지의 시간, 속도, 상태, 호출한 키나 서비스입니다. 프롬프트와 응답 내용은 절대 저장되지 않습니다.

모듈에 표시되는 사용량과 지출 수치는 한도 적용에 사용되는 수치와 같으므로, "limit reached"로 표시되는 것이 정확히 차단되는 것입니다.

용어집