Cách hoạt động

Trang này giải thích các khái niệm đằng sau Model Router — hãy đọc một lần và mọi trang khác sẽ dễ hiểu hơn.

Số dư trả trước

Cơ sở của bạn có một số dư trả trước bằng USD. Số dư chỉ thay đổi theo hai chiều:

• Tăng khi bạn nạp tiền (thủ công, qua tự động nạp tiền hoặc qua khoản điều chỉnh được cộng vào tài khoản của bạn). Các lần nạp tiền xuất hiện ngay lập tức.
• Giảm khi mức sử dụng phát sinh. Mức sử dụng được dịch vụ suy luận báo cáo trực tiếp và được đối soát với số dư trả trước của bạn 15 phút một lần, nên hoạt động rất gần đây có thể mất vài phút để xuất hiện trong Monthly usage. Lịch sử giao dịch chỉ liệt kê các lần nạp tiền và điều chỉnh số dư.

Số dư là rào chắn tài chính: khi số dư về 0, các yêu cầu suy luận bị chặn với lỗi insufficient credits cho đến khi bạn nạp tiền. Việc liệt kê mô hình vẫn hoạt động khi số dư bằng 0, nhờ đó các tích hợp có thể khám phá danh mục trước khi bạn nạp tiền vào tài khoản.

Danh mục mô hình

Danh mục gồm các mô hình từ nhiều nhà cung cấp, mỗi mô hình được tính giá theo triệu token (đầu vào và đầu ra được tính giá riêng, hiển thị trong cài đặt Models). Tất cả mô hình đều được bật theo mặc định cho cơ sở của bạn; bạn có thể:

• Tắt mô hình trên toàn tài khoản trong Settings → Models (phải giữ ít nhất một mô hình được bật).
• Giới hạn mô hình theo từng khóa API hoặc từng dịch vụ được kết nối — một danh sách chặt chẽ hơn, áp dụng thêm trên tập mô hình đã bật của cơ sở.

Một mục đặc biệt trong danh mục, auto (Auto Router), không có giá riêng. Với mỗi yêu cầu, nó tự động chọn mô hình tốt nhất dựa trên độ phức tạp của câu lệnh, và bạn được tính phí theo giá của mô hình mà nó chọn. Xem Models.

Hai cách sử dụng mô hình

1. Dịch vụ đã kết nối

Các thiết bị AI Agent đã ghép nối với cơ sở của bạn tự động kết nối với Model Router — không có khóa API nào được nhập trên thiết bị — và Workflows cũng có thể kết nối. Mỗi dịch vụ được kết nối xuất hiện trong Settings → Service Access & API Keys, mục Connected Services, với số liệu chi tiêu riêng, và bạn có thể đặt cho từng dịch vụ giới hạn chi tiêu, giới hạn mô hình và ghi đè guardrail riêng. Xem Connected Services.

2. Khóa API của riêng bạn

Bạn có thể cấp khóa API (bắt đầu bằng phk_) để phần mềm và hệ thống bên thứ ba hỗ trợ BYOK (Bring Your Own Key) có thể kết nối với các mô hình do Performance Hub cung cấp. Endpoint tương thích với OpenAI — trỏ bất kỳ SDK hoặc công cụ OpenAI nào đến URL cơ sở và xác thực bằng khóa của bạn. Xem Khóa API và Kết nối ứng dụng của bạn.

Cả hai phương thức đều sử dụng cùng một số dư, tuân theo cùng các giới hạn chi tiêu toàn tài khoản, xuất hiện trong cùng phân tích Activity và Logs, và có thể được giới hạn riêng.

Số dư và giới hạn chi tiêu

Đây là hai cơ chế khác nhau, và cả hai đều được áp dụng:

Giới hạn chi tiêu của tài khoản có ba khoảng thời gian — hằng ngày (đặt lại vào nửa đêm mỗi ngày, theo giờ địa phương của cơ sở), hằng tháng (đặt lại vào ngày 1 mỗi tháng, theo giờ địa phương của cơ sở) và mức trần cứng trọn đời (tính chi tiêu kể từ lần đặt lại thủ công gần nhất; không bao giờ tự đặt lại). Có thể bật đồng thời bất kỳ tổ hợp nào, và các giới hạn áp dụng cho tổng của mọi khóa API và dịch vụ được kết nối. Số dư trả trước vẫn được áp dụng thêm.

Giới hạn theo từng khóa và từng dịch vụ hoạt động theo cùng cách (hằng ngày, hằng tháng, trọn đời) nhưng chỉ tính chi tiêu của khóa hoặc dịch vụ đó. Khi đạt giới hạn, chỉ khóa hoặc dịch vụ đó bị chặn — phần còn lại của cơ sở vẫn tiếp tục hoạt động.

Cách xử lý một yêu cầu

Khi một yêu cầu đến endpoint, các bước kiểm tra chạy theo thứ tự sau:

1. Xác thực — khóa API hoặc danh tính dịch vụ được kết nối hợp lệ. Đối với khóa API, cơ sở chưa bật Model Router sẽ bị từ chối tại đây với HTTP 403 ("Model Router is not enabled for this facility"). Yêu cầu liệt kê mô hình (GET /v1/models) được trả lời ngay sau bước xác thực, nên vẫn hoạt động khi số dư bằng 0.
2. Kiểm tra tín dụng trả trước — số dư khả dụng phải lớn hơn $0 (đối với dịch vụ được kết nối, Model Router cũng phải được bật); nếu không, yêu cầu bị từ chối với lỗi insufficient credits (HTTP 402).
3. Giới hạn chi tiêu của tài khoản — nếu vượt quá mức trần hằng ngày, hằng tháng hoặc trọn đời, yêu cầu bị từ chối với lỗi budget exceeded (HTTP 402), nêu rõ khi nào khoảng thời gian được đặt lại theo múi giờ của cơ sở bạn.
4. Giới hạn chi tiêu theo từng khóa / từng dịch vụ — bước kiểm tra tương tự, áp dụng cho khóa hoặc dịch vụ gọi.
5. Kiểm tra câu lệnh — lá chắn chống chèn câu lệnh và các bộ lọc nội dung tùy chỉnh của bạn chạy trên câu lệnh. Bộ lọc block hoặc phát hiện chèn câu lệnh sẽ từ chối yêu cầu (HTTP 403, content policy violation); bộ lọc redact viết lại các đoạn khớp thành [REDACTED] và cho phép yêu cầu tiếp tục.
6. Định tuyến mô hình — auto được Auto Router phân giải thành một mô hình cụ thể (yêu cầu chứa hình ảnh được gửi đến mô hình có khả năng xử lý hình ảnh mà bạn cho phép). Các mô hình dự phòng được lọc theo những mô hình mà khóa được phép sử dụng, cài đặt suy luận của bạn được áp dụng khi yêu cầu không tự đặt, và giới hạn đầu ra được yêu cầu được điều chỉnh về mức mà mô hình hỗ trợ.
7. Suy luận — che PII và ẩn thông tin bí mật (khi được bật) được dịch vụ suy luận áp dụng trước khi câu lệnh đến mô hình; sau đó yêu cầu được gửi đến nhà cung cấp mô hình và phản hồi được truyền phát trở lại.

Giới hạn tốc độ (số yêu cầu/phút và số token/phút, nếu được đặt cho khóa hoặc dịch vụ) được thực thi xuyên suốt; vượt quá giới hạn sẽ trả về HTTP 429.

Những gì được ghi lại

Mọi yêu cầu đều được ghi lại cùng siêu dữ liệu: thời gian, mô hình (cả mô hình được yêu cầu và mô hình mà bộ định tuyến đã chọn), nhà cung cấp, token (câu lệnh, hoàn thành, lưu đệm, suy luận), chi phí, độ trễ, thời gian đến token đầu tiên, tốc độ, trạng thái và khóa hoặc dịch vụ gọi. Nội dung câu lệnh và phản hồi không bao giờ được lưu trữ.

Số liệu mức sử dụng và chi tiêu hiển thị trong mô-đun chính là số liệu được dùng để thực thi giới hạn, nên những gì bạn thấy là "limit reached" chính xác là những gì bị chặn.

Bảng thuật ngữ