Model Router

Model Router cung cấp cho cơ sở của bạn quyền truy cập trả trước vào danh mục các mô hình AI hàng đầu thông qua một endpoint duy nhất, tương thích với OpenAI. Các AI Agents trong Performance Hub của bạn tự động kết nối với Model Router mà không cần thiết lập, Workflows cũng có thể kết nối, và bạn có thể tự cấp khóa API để đưa cùng các mô hình đó vào phần mềm của bên thứ ba hoặc phần mềm nội bộ — một trợ lý đặt chỗ, một biểu mẫu tiếp nhận bệnh nhân của phòng khám hoặc một ứng dụng hỗ trợ khách của khách sạn. Bạn nạp tiền vào số dư bằng USD, đặt giới hạn chi tiêu và theo dõi mọi yêu cầu theo thời gian thực — tất cả từ một nơi.

Tham khảo nhanh

Vị trí: Menu chính → Model Router (các cơ sở dùng Technology Stack). Mô-đun nằm trong nhóm AI Modules & Agents của menu chính.

Đối tượng: Chỉ Organisation Administrator (các cơ sở dùng Technology Stack).

Mục đích: Mua dịch vụ suy luận AI bằng số dư trả trước: quản lý khóa API, giới hạn chi tiêu, tự động nạp tiền và mức sử dụng.

Các thành phần liên kết với nhau như thế nào

• Cơ sở của bạn có một số dư trả trước bằng USD. Bạn nạp tiền bằng thẻ thanh toán đã lưu (thủ công hoặc tự động), và mỗi yêu cầu AI sẽ trừ vào số dư theo giá của mô hình đã xử lý yêu cầu đó.
• Danh mục mô hình bao gồm các mô hình từ nhiều nhà cung cấp. Tất cả mô hình đều được bật theo mặc định; bạn có thể bật hoặc tắt từng mô hình cho cơ sở của mình và giới hạn thêm theo từng khóa API hoặc từng dịch vụ được kết nối.
• Có hai cách sử dụng mô hình:
  • Connected Services — các thiết bị AI Agent đã ghép nối tự động kết nối mà không cần khóa API, và Workflows cũng có thể kết nối.
  • Khóa API của riêng bạn — cấp khóa và trỏ bất kỳ SDK hoặc công cụ nào tương thích với OpenAI đến endpoint của Performance Hub.
• Giới hạn chi tiêu (hằng ngày, hằng tháng và mức trần tuyệt đối trọn đời) cho phép bạn giới hạn chi tiêu độc lập với số dư, trên mọi khóa và dịch vụ được kết nối — kèm theo các giới hạn chặt chẽ hơn cho từng khóa và từng dịch vụ.
• Mọi yêu cầu đều được ghi lại — mô hình, token, chi phí, độ trễ và trạng thái — trong phần phân tích Activity và tab Logs. Nội dung câu lệnh và phản hồi không bao giờ được lưu trữ.

Các khu vực chính

Mô-đun có bốn tab cùng với khu vực Settings (biểu tượng bánh răng, góc trên bên phải):

Bảng điều khiển Overview

Tab Overview tóm tắt nhanh tài khoản của bạn.

Hình 1: Dải thống kê (Available balance, Spent today, Spent this month và Estimated runway) và các nhãn tóm tắt nhanh về tự động nạp tiền, giới hạn, mô hình và dịch vụ được kết nối

Bên dưới dải thống kê, các nhãn tóm tắt thông tin về tự động nạp tiền, giới hạn chi tiêu, các mô hình đã bật và số dịch vụ được kết nối đang trực tuyến. Nhãn Low balance xuất hiện bên cạnh khi số dư bằng hoặc thấp hơn ngưỡng tự động nạp tiền.

• Available balance — tín dụng trả trước còn lại tại thời điểm hiện tại.
• Spent today / Spent this month — phí sử dụng trong ngày hiện tại và tháng dương lịch hiện tại (theo giờ địa phương của cơ sở).
• Estimated runway — "Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."

Hình 2: Spend over time (14 ngày qua, kèm mức thay đổi so với kỳ trước) và Spend by model

Hình 3: Requests over time theo mô hình, và Reliability & speed với tỷ lệ lỗi, độ trễ p95 và độ trễ theo thời gian

Hình 4: Budget usage và Top agents & keys được xếp hạng theo chi tiêu

Hình 5: Bản đồ nhiệt Activity: mức sử dụng trong một năm, có thể chuyển đổi giữa Tokens, Spend và Requests, kèm chuỗi ngày dài nhất và mức trung bình hằng ngày và hằng tuần

Hướng dẫn tài liệu

Khái niệm

• Cách hoạt động — mô hình khái niệm: số dư trả trước so với giới hạn chi tiêu, hai phương thức truy cập, cách tính giá yêu cầu và bảng thuật ngữ đầy đủ.

Bắt đầu

• Bắt đầu — bật mô-đun, lần nạp tiền đầu tiên và yêu cầu đầu tiên của bạn.
• Kết nối ứng dụng của bạn — hướng dẫn nhanh cho phần mềm của riêng bạn: URL cơ sở, xác thực và các ví dụ curl / Python / TypeScript.

Quản lý quyền truy cập

• Models — danh mục, bật và tắt mô hình, các thiết lập sẵn nhanh và Auto Router.
• Khóa API — tạo khóa, hiển thị khóa bí mật một lần, mức trần chi tiêu theo từng khóa, giới hạn tốc độ, giới hạn mô hình và vòng đời xoay vòng/thu hồi/xóa.
• Connected Services — cách AI Agents và Workflows đã ghép nối kết nối, và cách giới hạn từng dịch vụ.
• Guardrails — các biện pháp bảo vệ nội dung (che PII, ẩn thông tin bí mật, lá chắn chống chèn câu lệnh) và bộ lọc nội dung tùy chỉnh.

Chi phí và giám sát

• Ngân sách và nạp tiền — số dư, nạp tiền thủ công và tự động, biên lai, lịch sử giao dịch, mức sử dụng hằng tháng và giới hạn chi tiêu.
• Hoạt động và nhật ký — các chế độ xem phân tích, xuất CSV và nhật ký yêu cầu.

Tham khảo

• Tham khảo — mọi cài đặt, giá trị mặc định, giới hạn và phản hồi lỗi tại một nơi.
• Khắc phục sự cố — cách khắc phục theo từng triệu chứng đối với yêu cầu bị chặn, sự cố về khóa và các câu hỏi về số dư.
• Câu hỏi thường gặp — FAQ.

Danh sách kiểm tra khi bắt đầu

Đánh dấu từng mục khi bạn hoàn thành — tiến độ của bạn được lưu trong trình duyệt này và bạn có thể in danh sách.

Chọn cơ sở

Mô-đun được cấu hình theo từng cơ sở. Sử dụng bộ chọn cơ sở trên thanh công cụ chính của Performance Hub để chọn cơ sở bạn đang cấu hình. Trong khi ngữ cảnh cơ sở đang tải, mô-đun sẽ hiển thị "Loading facility context…".