Model Router
이 페이지의 내용
Model Router는 하나의 OpenAI 호환 엔드포인트를 통해 시설에서 주요 AI 모델 카탈로그를 선불로 이용할 수 있게 해 줍니다. Performance Hub AI 에이전트는 별도 설정 없이 자동으로 연결되고, Workflows도 연결할 수 있으며, 직접 API 키를 발급하여 예약 어시스턴트, 병원 접수 양식, 호텔 컨시어지 앱 등 타사 또는 사내 소프트웨어에 동일한 모델을 연결할 수 있습니다. USD 잔액을 충전하고, 지출 한도를 설정하고, 모든 요청을 실시간으로 확인하는 작업을 모두 한곳에서 할 수 있습니다.
빠른 참조
찾는 위치: 메인 메뉴 → Model Router(Technology Stack 시설). 이 모듈은 메인 메뉴의 AI Modules & Agents 그룹에 있습니다.
액세스 가능한 사용자: Organisation Administrator만 가능합니다(Technology Stack 시설).
용도: 선불 잔액으로 AI 추론을 구매하고, API 키, 지출 한도, 자동 충전 및 사용량을 관리합니다.
구성 요소의 연결 방식
- 시설은 USD로 된 선불 잔액을 보유합니다. 저장된 결제 카드로 잔액을 (수동 또는 자동으로) 충전하며, 모든 AI 요청은 해당 요청을 처리한 모델의 가격만큼 잔액에서 차감됩니다.
- 모델 카탈로그에는 여러 공급자의 모델이 포함되어 있습니다. 모든 모델은 기본적으로 활성화되어 있으며, 시설에서 개별 모델을 켜거나 끌 수 있고, API 키별 또는 연결된 서비스별로 추가 제한할 수 있습니다.
- 모델을 사용하는 방법은 두 가지입니다.
- Connected Services — 페어링된 AI 에이전트 기기는 API 키 없이 자동으로 연결되며, Workflows도 연결할 수 있습니다.
- 자체 API 키 — 키를 발급하고 OpenAI 호환 SDK나 도구가 Performance Hub 엔드포인트를 가리키도록 설정합니다.
- 지출 한도(일별, 월별 및 전체 기간 하드 캡)를 사용하면 모든 키와 연결된 서비스에 걸쳐 잔액과 별개로 지출을 제한할 수 있으며, 그 위에 키별 및 서비스별로 더 엄격한 한도를 설정할 수 있습니다.
- 모든 요청은 모델, 토큰, 비용, 지연 시간 및 상태와 함께 Activity 분석과 Logs 탭에 기록됩니다. 프롬프트와 응답 내용은 저장되지 않습니다.
주요 영역
이 모듈에는 네 개의 탭과 Settings 영역(오른쪽 상단의 톱니바퀴 아이콘)이 있습니다.
| 영역 | 수행하는 작업 |
|---|---|
| Overview | 대시보드입니다. 사용 가능한 잔액, 오늘 및 이번 달 지출, 예상 사용 가능 기간, 지출 및 요청 차트, 안정성 요약, 예산 사용량, 상위 에이전트 및 키를 보여 줍니다. |
| Activity | 네 가지 보기(Overview, Trends, Performance, Explore), 키/에이전트 및 모델별 필터, CSV 내보내기를 갖춘 심층 사용량 분석입니다. |
| Budgets & Limits | 두 개의 하위 탭이 있습니다. Spend Limits(계정 전체 일별/월별/전체 기간 한도 및 서비스별 한도)와 Balance & Top-up(수동 충전, 자동 충전, 거래 내역 및 월별 사용량)입니다. |
| Logs | 요청별 감사 기록입니다. 모든 요청의 모델, 토큰, 비용, 속도 및 상태를 실시간 새로 고침, 검색, 필터 및 세부 정보 창과 함께 제공합니다. |
| Settings(톱니바퀴) | Models(카탈로그 모델 활성화/비활성화, Auto Router 편집), Service Access & API Keys(연결된 서비스, API 키 및 API 연결 세부 정보), Guardrails(콘텐츠 보호 및 사용자 지정 콘텐츠 필터)가 있습니다. |
Overview 대시보드
Overview 탭에는 계정 요약이 한눈에 표시됩니다.
그림 1: 통계 표시줄(Available balance, Spent today, Spent this month, Estimated runway)과 자동 충전, 한도, 모델 및 연결된 서비스에 대한 빠른 요약 칩
통계 표시줄 아래의 칩에는 자동 충전, 지출 한도, 활성화된 모델, 온라인 상태인 연결된 서비스 수가 요약되어 있습니다. 잔액이 자동 충전 기준값 이하이면 그 옆에 Low balance 칩이 나타납니다.
- Available balance — 현재 남아 있는 선불 크레딧입니다.
- Spent today / Spent this month — 현재 일과 현재 달력 월(시설 현지 시간 기준)의 사용 요금입니다.
- Estimated runway — "Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."
그림 2: Spend over time(최근 14일, 이전 기간 대비 변화 포함) 및 Spend by model
그림 3: 모델별 Requests over time, 그리고 오류율, p95 지연 시간 및 시간별 지연 시간이 포함된 Reliability & speed
그림 4: Budget usage 및 지출 순으로 정렬된 Top agents & keys
그림 5: Activity 히트맵: Tokens, Spend, Requests 간에 전환할 수 있는 1년간의 사용량과 최장 연속 사용 기간 및 일별, 주별 평균
문서 안내
개념
- 작동 방식 — 개념 모델로, 선불 잔액과 지출 한도의 차이, 두 가지 액세스 경로, 요청 가격 책정 방식 및 전체 용어집을 다룹니다.
시작하기
- 시작하기 — 모듈 활성화, 첫 충전 및 첫 요청을 다룹니다.
- 애플리케이션 연결 — 자체 소프트웨어를 위한 빠른 시작으로, 기본 URL, 인증 및 curl / Python / TypeScript 예제를 다룹니다.
액세스 관리
- Models — 카탈로그, 모델 활성화 및 비활성화, 빠른 사전 설정 및 Auto Router를 다룹니다.
- API 키 — 키 생성, 일회성 비밀 키 표시, 키별 지출 한도, 속도 제한, 모델 제한 및 순환/해지/삭제 수명 주기를 다룹니다.
- Connected Services — 페어링된 AI 에이전트와 Workflows의 연결 방식과 각각을 제한하는 방법을 다룹니다.
- Guardrails — 콘텐츠 보호(PII 마스킹, 비밀 정보 삭제, 프롬프트 인젝션 차단)와 사용자 지정 콘텐츠 필터를 다룹니다.
비용 및 모니터링
- 예산 및 충전 — 잔액, 수동 및 자동 충전, 영수증, 거래 내역, 월별 사용량 및 지출 한도를 다룹니다.
- 활동 및 로그 — 분석 보기, CSV 내보내기 및 요청 로그를 다룹니다.
참조
- 참조 — 모든 설정, 기본값, 제한 및 오류 응답을 한곳에 정리합니다.
- 문제 해결 — 차단된 요청, 키 문제 및 잔액 관련 질문에 대한 증상별 해결 방법을 다룹니다.
- 자주 묻는 질문 — FAQ입니다.
시작하기 체크리스트
진행하면서 항목을 체크하십시오. 진행 상황은 이 브라우저에 저장되며 목록을 인쇄할 수 있습니다.
시설 선택
이 모듈은 시설별로 구성됩니다. Performance Hub 메인 도구 모음의 시설 선택기를 사용하여 구성할 시설을 선택하십시오. 시설 컨텍스트가 로드되는 동안 모듈에 *"Loading facility context…"*가 표시됩니다.