Performance Hub 로고Performance Hub
사이트 섹션: 문서

활동 및 로그

이 페이지의 내용

모니터링은 두 개의 탭에서 다룹니다. Activity(집계 분석)와 Logs(요청별 감사 기록)입니다. 두 탭 모두 모든 API 키와 연결된 서비스를 대상으로 하며, 둘 다 메타데이터만 기록합니다. 프롬프트와 응답 내용은 절대 저장되지 않습니다.

Activity 탭

Activity에는 Overview, Trends, Performance, Explore의 네 가지 보기와 Export 버튼이 있습니다. 모든 보기는 머리글 컨트롤을 공유합니다. Key / agent별 필터, Model별 필터, Range 선택기(Last 24 hours, Last 7/30/90 days, Year, All time 또는 Custom range)입니다.

개요

Activity 머리글과 KPI 카드Activity 머리글과 KPI 카드

그림 1: Activity 머리글(보기 탭, 필터, 범위 및 Export)과 KPI 카드

KPI 카드에는 각각 이전 기간과의 비교("vs prev" / "No prior data")가 표시됩니다.

KPI의미
Spend this period"Total spend over the selected date range." — 요청당 평균 비용이 함께 표시됩니다.
Requests요청 수입니다.
Token volume총 토큰 수입니다.
Error rate"Share of requests in this period that returned an error."

Top API keys & agents 및 Top sourcesTop API keys & agents 및 Top sources

그림 2: Top API keys & agents 및 Top sources

Top API keys & agents는 키와 연결된 서비스를 지출 순으로 순위를 매기고, Top sources는 사용량을 API 키, 에이전트, 워크플로별로 나눕니다.

그 아래의 세 차트는 사용량을 모델별 및 토큰 유형별로 세분화합니다.

모델별 사용량모델별 사용량

그림 3: Usage by model: 모델별 시간 경과에 따른 지출

모델별 요청 볼륨모델별 요청 볼륨

그림 4: Request volume by model

Token breakdownToken breakdown

그림 5: Token breakdown(프롬프트, 완성 및 추론 토큰)

프롬프트 캐싱이 적용되는 경우 Prompt token caching 카드에 Cache hit rate("Share of prompt tokens served from the provider prompt cache.")와 캐시된 토큰 및 캐시되지 않은 토큰의 양이 표시됩니다.

프롬프트 토큰 캐싱프롬프트 토큰 캐싱

그림 6: Prompt token caching

Trends 보기Trends 보기

그림 7: Trends: Trending 목록과 함께 시간 경과에 따른 모델 표시. 지표 전환(Tokens, Spend, Requests)은 오른쪽 상단에 있습니다

Trends는 변화를 보여 줍니다. 각 모델(그리고 별도 섹션에서 각 키/에이전트)을 시간 경과에 따라 차트로 표시하며, 상승 항목을 보여 주는 Trending 목록이 있습니다. 이전 기간에 사용량이 없었던 항목에는 New 배지가 표시됩니다.

성능

Performance KPI 및 차트Performance KPI 및 차트

그림 8: Performance: 지연 시간, 처리량 및 오류 KPI와 Average latency over time 및 Errors over time

KPI의미
Median latency"Median (p50) end-to-end request duration over the selected range."
p95 latency"95th-percentile request duration — the slow tail most users feel."
Avg time to first token"Average delay before the first streamed token (streaming requests only)."
Throughput"Average output generation speed across requests." (tok/s)
Error rate / Total errors선택한 기간의 오류입니다.

모델별 Reliability & performance모델별 Reliability & performance

그림 9: 모델별 Reliability & performance와 Top failing models 및 Top failing keys & agents

모델별 표(요청, 오류율, 평균 및 p95 지연 시간, 처리량, 지출)는 문제가 있는 모델을 찾아내는 가장 빠른 방법이며, 실패 항목 목록은 조사해야 할 대상을 바로 알려 줍니다. 실패가 없으면 *"No errors in this period"*가 표시됩니다.

탐색

Explore 보기Explore 보기

그림 10: Explore: Metric, Group by, Then by, Show top을 사용한 사용량 피벗

Explore는 자유 형식 피벗입니다. Metric(예: Spend)과 Group by(Model, API key / agent, Source, Provider, Status)를 선택하고, 필요하면 Then by로 중첩하며, Show top으로 목록 길이를 제한합니다. 결과는 Value와 % of Total이 포함된 순위별 분석입니다. 행 작업을 사용하면 Apply filters based on this model(또는 키/에이전트)을 적용하고 View in logs로 이동할 수 있습니다.

활동 데이터 내보내기

Export를 클릭하여 내보내기 대화 상자를 엽니다.

Export activity data 대화 상자Export activity data 대화 상자

그림 11: Export activity data: 내보낼 항목, 날짜 범위, 필터 및 열

  • 내보낼 항목: Raw requests(요청당 CSV 한 행) 또는 요약(Summary by model, Summary by key & agent, Summary by source, Summary by period)입니다.
  • 날짜 범위 및 필터: 현재 보기의 범위와 필터가 그대로 적용되며 조정할 수 있습니다. 대화 상자에 대략적인 행 수("approx. … requests")가 표시됩니다. 원시 데이터 내보내기는 25,000행으로 제한됩니다(범위가 이를 초과하면 *"export is capped at 25,000"*이 표시됩니다).
  • 열: 원시 데이터 내보내기의 경우 Time (UTC), Request ID, Model, Provider, Status, Key / agent, Key hash, Source, End user, Prompt/Completion/Total/Cached/Reasoning tokens, Spend (USD), Duration (ms), TTFT (ms), Tokens/sec, Cache hit, Zero completion, IP 중에서 선택하며, Select all / Clear all을 사용할 수 있습니다.

Logs 탭

Logs 탭은 요청 단위의 감사 기록입니다.

Logs 탭Logs 탭

그림 12: Logs: 검색, 필터, 실시간 새로 고침 및 요청 표

  • 검색("Search request ID, key, model…")과 함께 Status(Success / Failed / All), Key / agent, Model, Provider 필터가 있습니다.
  • Range 사전 설정: Last 15 minutes, Last hour, Last 24 hours(기본값), Last 7 days, Last 30 days 중에서 선택하거나 사용자 지정 날짜를 선택합니다.
  • Live는 범위 옆에 있으며 표를 자동으로 새로 고칩니다. Off, 10s, 30s(기본값) 또는 60s를 선택합니다. 카운트다운으로 다음 새로 고침 시점이 표시되며, Refresh now를 누르면 즉시 새로 고칩니다. 사용자 지정 범위가 과거에 끝나는 경우 Live는 숨겨집니다.

Live 새로 고침 컨트롤Live 새로 고침 컨트롤

그림 13: 범위 선택기 옆의 Live 컨트롤: Off, 10s, 30s 또는 60s 새로 고침

  • 히스토그램은 범위 내 요청량을 보여 줍니다(오류는 강조 표시됨). 히스토그램에서 영역을 드래그하여 선택하면 표가 해당 기간으로 확대됩니다("Showing logs for …", Clear selection 포함).
  • Export를 누르면 Export request logs가 열립니다. 원시 요청 또는 요약, 날짜 범위, 필터(Key / agent, Model, Provider, Status 및 현재 검색 텍스트)를 선택하고, 원시 데이터 내보내기의 경우 열을 선택합니다.

요약의 경우 대화 상자에 다음 안내가 표시됩니다. "Summaries cover whole days, so a sub-day or graph selection is widened to full days." 및 "The search text is not applied to summaries."

각 행에는 날짜, 요청 ID, 모델, 공급자, 입력 및 출력 토큰, 에이전트/키, 속도(tok/s), 비용, 상태(success / failure)가 표시됩니다. No charge 배지는 비용이 발생하지 않은 실패 응답이나 빈 응답을 나타냅니다. 입력 수에 표시되는 cached 배지는 프롬프트 캐시에서 제공된 토큰을 나타내며, 바닥글에는 *"Showing … of …"*가 표시됩니다. 결과가 없으면 "No requests yet." 또는 *"No requests match your filters."*가 표시됩니다.

요청 세부 정보

행을 클릭하면 Request details 창이 열립니다.

Request details 창Request details 창

그림 14: Request details: 메타데이터, 토큰 수 및 비용

섹션필드
RequestRequest ID(복사 가능), Time, Status, Model(요청을 처리한 모델), Requested model(예: Auto Router가 모델을 선택한 경우 auto), Provider, IP address, Cache hit, Latency, Time to first token, 그리고 기록된 경우 API base(업스트림 호스트)입니다.
TokensPrompt tokens, Completion tokens, Total tokens, Speed와 함께, 있는 경우 Cached tokens(읽기/쓰기) 및 Reasoning tokens가 표시됩니다.
Cost요청의 정확한 비용입니다.
SourceKey / Agent(호출한 API 키 또는 에이전트)와 End user(호출자가 제공한 경우 최종 사용자 식별자)입니다.

로그에는 의도적으로 프롬프트나 응답 내용이 전혀 포함되지 않습니다.