Cara kerjanya

Halaman ini menjelaskan konsep di balik Model Router — baca sekali, dan semua halaman lainnya akan lebih mudah dipahami.

Saldo prabayar

Fasilitas Anda memiliki saldo prabayar dalam USD. Saldo ini hanya bergerak ke dua arah:

• Naik saat Anda mengisi ulang (secara manual, melalui isi ulang otomatis, atau melalui penyesuaian yang dikreditkan ke akun Anda). Isi ulang langsung tercermin.
• Turun seiring penggunaan bertambah. Penggunaan dilaporkan secara langsung oleh layanan inferensi dan direkonsiliasi dengan saldo prabayar Anda setiap 15 menit, sehingga aktivitas yang sangat baru dapat memerlukan beberapa menit untuk muncul di Monthly usage. Riwayat transaksi hanya mencantumkan isi ulang dan penyesuaian saldo.

Saldo adalah batas finansial: saat mencapai nol, permintaan inferensi diblokir dengan kesalahan insufficient credits hingga Anda mengisi ulang. Daftar model tetap berfungsi dengan saldo nol, sehingga integrasi dapat menemukan katalog sebelum Anda mengisi dana akun.

Katalog model

Katalog berisi model dari banyak penyedia, masing-masing dengan harga per satu juta token (harga input dan output terpisah, ditampilkan di pengaturan Models). Semua model diaktifkan secara default untuk fasilitas Anda; Anda dapat:

• Menonaktifkan model untuk seluruh akun di Settings → Models (setidaknya satu model harus tetap aktif).
• Membatasi model per kunci API atau per layanan yang terhubung — daftar yang lebih ketat di atas kumpulan model yang diaktifkan untuk fasilitas.

Entri katalog khusus, auto (Auto Router), tidak memiliki harga sendiri. Untuk setiap permintaan, Auto Router secara otomatis memilih model terbaik berdasarkan kompleksitas prompt, dan Anda ditagih sesuai tarif model yang dipilihnya. Lihat Models.

Dua cara menggunakan model

1. Layanan Terhubung

Perangkat Agen AI yang dipasangkan dengan fasilitas Anda terhubung ke Model Router secara otomatis — tidak ada kunci API yang pernah dimasukkan di perangkat — dan Workflows juga dapat terhubung. Setiap layanan yang terhubung muncul di Settings → Service Access & API Keys di bawah Connected Services dengan angka pengeluarannya sendiri, dan Anda dapat memberikan batas pengeluaran, pembatasan model, dan penggantian guardrail tersendiri untuk masing-masing. Lihat Connected Services.

2. Kunci API Anda sendiri

Anda dapat menyediakan kunci API (diawali dengan phk_) agar perangkat lunak dan sistem pihak ketiga yang mendukung BYOK (Bring Your Own Key) dapat terhubung ke model yang diterbitkan oleh Performance Hub. Endpoint-nya kompatibel dengan OpenAI — arahkan SDK atau alat OpenAI apa pun ke URL dasar dan lakukan autentikasi dengan kunci Anda. Lihat Kunci API dan Menghubungkan aplikasi Anda.

Kedua jalur menggunakan saldo yang sama, mematuhi batas pengeluaran seluruh akun yang sama, muncul di analitik Activity dan Logs yang sama, serta dapat dibatasi secara individual.

Saldo vs batas pengeluaran

Keduanya adalah mekanisme yang berbeda, dan keduanya berlaku:

Batas pengeluaran akun tersedia dalam tiga jendela waktu — harian (direset setiap hari pada tengah malam, waktu lokal fasilitas), bulanan (direset pada tanggal 1 setiap bulan, waktu lokal fasilitas), dan batas maksimum seumur hidup (menghitung pengeluaran sejak reset manual terakhir; tidak pernah direset dengan sendirinya). Kombinasi apa pun dapat aktif sekaligus, dan batas berlaku untuk gabungan semua kunci API dan layanan yang terhubung. Saldo prabayar tetap berlaku di atasnya.

Batas per kunci dan per layanan bekerja dengan cara yang sama (harian, bulanan, seumur hidup), tetapi hanya menghitung pengeluaran kunci atau layanan tersebut. Saat batas tercapai, hanya kunci atau layanan tersebut yang diblokir — bagian lain dari fasilitas tetap berfungsi.

Cara permintaan diproses

Saat permintaan tiba di endpoint, pemeriksaan dijalankan dalam urutan berikut:

1. Autentikasi — kunci API atau identitas layanan terhubung yang valid. Untuk kunci API, fasilitas yang belum mengaktifkan Model Router ditolak di sini dengan HTTP 403 ("Model Router is not enabled for this facility"). Daftar model (GET /v1/models) dijawab langsung setelah autentikasi, sehingga tetap berfungsi dengan saldo nol.
2. Pemeriksaan kredit prabayar — saldo tersedia harus di atas $0 (untuk layanan yang terhubung, Model Router juga harus diaktifkan); jika tidak, permintaan ditolak dengan kesalahan insufficient credits (HTTP 402).
3. Batas pengeluaran akun — jika batas harian, bulanan, atau seumur hidup terlampaui, permintaan ditolak dengan kesalahan budget exceeded (HTTP 402) yang menyebutkan kapan jendela waktu direset, menurut zona waktu fasilitas Anda.
4. Batas pengeluaran per kunci / per layanan — pemeriksaan yang sama, terbatas pada kunci atau layanan pemanggil.
5. Pemeriksaan prompt — perisai injeksi prompt dan filter konten kustom Anda dijalankan pada prompt. Filter block atau deteksi injeksi menolak permintaan (HTTP 403, content policy violation); filter redact menulis ulang kecocokan menjadi [REDACTED] dan membiarkan permintaan dilanjutkan.
6. Perutean model — auto diterjemahkan menjadi model konkret oleh Auto Router (permintaan yang berisi gambar dikirim ke model berkemampuan visual yang Anda izinkan). Model cadangan difilter ke model yang boleh digunakan kunci tersebut, pengaturan reasoning Anda diterapkan jika permintaan tidak menetapkannya sendiri, dan batas output yang diminta disesuaikan dengan yang didukung model.
7. Inferensi — penyamaran PII dan penyuntingan rahasia (jika diaktifkan) diterapkan oleh layanan inferensi sebelum prompt mencapai model; permintaan kemudian dikirim ke penyedia model dan respons dialirkan kembali.

Batas laju (permintaan/menit dan token/menit, jika ditetapkan pada kunci atau layanan) diberlakukan di seluruh proses; melampauinya akan mengembalikan HTTP 429.

Apa yang dicatat

Setiap permintaan dicatat beserta metadatanya: waktu, model (model yang diminta dan model yang dipilih router), penyedia, token (prompt, completion, cached, reasoning), biaya, latensi, waktu hingga token pertama, kecepatan, status, serta kunci atau layanan pemanggil. Isi prompt dan respons tidak pernah disimpan.

Angka penggunaan dan pengeluaran yang ditampilkan di modul adalah angka yang sama yang digunakan untuk penegakan batas, sehingga apa yang Anda lihat sebagai "limit reached" adalah persis apa yang diblokir.

Glosarium