Model Router

Di halaman ini

Model Router memberi fasilitas Anda akses prabayar ke katalog model AI terkemuka melalui satu endpoint yang kompatibel dengan OpenAI. AI Agents Performance Hub Anda terhubung ke sana secara otomatis tanpa penyiapan, Workflows juga dapat terhubung, dan Anda dapat menyediakan kunci API sendiri untuk menghubungkan model yang sama ke perangkat lunak pihak ketiga atau internal — asisten pemesanan, formulir pendaftaran pasien klinik, atau aplikasi concierge hotel. Anda mengisi saldo dalam USD, menetapkan batas pengeluaran, dan memantau setiap permintaan secara real-time — semuanya dari satu tempat.

Referensi Cepat

Lokasi: Menu utama → Model Router (fasilitas Technology Stack). Modul ini berada di grup AI Modules & Agents pada menu utama.

Siapa yang dapat mengakses: Hanya Organisation Administrator (fasilitas Technology Stack).

Tujuan: Membeli inferensi AI dengan saldo prabayar: mengelola kunci API, batas pengeluaran, isi ulang otomatis, dan penggunaan.

Cara semuanya bekerja bersama

Fasilitas Anda memiliki saldo prabayar dalam USD. Anda mengisinya dengan kartu penagihan yang tersimpan (secara manual atau otomatis), dan setiap permintaan AI mengurangi saldo sesuai harga model yang melayaninya.
Katalog model mencakup model dari banyak penyedia. Semua model diaktifkan secara default; Anda dapat mengaktifkan atau menonaktifkan model tertentu untuk fasilitas Anda, dan membatasinya lebih lanjut per kunci API atau per layanan yang terhubung.
Ada dua cara untuk menggunakan model:
- Connected Services — perangkat Agen AI yang dipasangkan terhubung secara otomatis, tanpa memerlukan kunci API, dan Workflows juga dapat terhubung.
- Kunci API Anda sendiri — sediakan kunci dan arahkan SDK atau alat apa pun yang kompatibel dengan OpenAI ke endpoint Performance Hub.
Batas pengeluaran (harian, bulanan, dan batas maksimum seumur hidup) memungkinkan Anda membatasi pengeluaran secara terpisah dari saldo, di seluruh kunci dan layanan yang terhubung — dengan batas per kunci dan per layanan yang lebih ketat yang tersedia di atasnya.
Setiap permintaan dicatat — model, token, biaya, latensi, dan status — di analitik Activity dan tab Logs. Isi prompt dan respons tidak pernah disimpan.

Area utama

Modul ini memiliki empat tab ditambah area Settings (ikon roda gigi, kanan atas):

Area	Yang Anda lakukan di sana
Overview	Dasbor: saldo tersedia, pengeluaran hari ini dan bulan ini, perkiraan sisa waktu saldo, grafik pengeluaran dan permintaan, ringkasan keandalan, penggunaan anggaran, serta agen & kunci teratas.
Activity	Analitik penggunaan mendalam dengan empat tampilan (Overview, Trends, Performance, Explore), filter berdasarkan kunci/agen dan model, serta ekspor CSV.
Budgets & Limits	Dua subtab: Spend Limits (batas harian/bulanan/seumur hidup untuk seluruh akun dan batas per layanan) dan Balance & Top-up (isi ulang manual, isi ulang otomatis, riwayat transaksi, dan penggunaan bulanan).
Logs	Jejak audit per permintaan: model, token, biaya, kecepatan, dan status setiap permintaan, dengan penyegaran langsung, pencarian, filter, dan laci detail.
Settings (roda gigi)	Models (mengaktifkan/menonaktifkan model katalog, mengedit Auto Router), Service Access & API Keys (layanan yang terhubung, kunci API, dan detail koneksi API), serta Guardrails (perlindungan konten dan filter konten kustom).

Dasbor Overview

Tab Overview merangkum akun Anda dalam sekilas.

Pita statistik Overview dengan chip ringkasan cepat

Gambar 1: Pita statistik (Available balance, Spent today, Spent this month, dan Estimated runway) serta chip ringkasan cepat untuk isi ulang otomatis, batas, model, dan layanan yang terhubung

Di bawah pita statistik, chip merangkum isi ulang otomatis, batas pengeluaran, model yang diaktifkan, dan berapa banyak layanan terhubung yang sedang daring. Chip Low balance muncul di sampingnya saat saldo berada pada atau di bawah ambang isi ulang otomatis.

Available balance — kredit prabayar yang tersisa saat ini.
Spent today / Spent this month — biaya penggunaan pada hari dan bulan kalender berjalan (waktu lokal fasilitas).
Estimated runway — "Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."

Grafik Spend over time dan Spend by model

Gambar 2: Spend over time (14 hari terakhir, dengan perubahan dibandingkan periode sebelumnya) dan Spend by model

Requests over time dan Reliability & speed

Gambar 3: Requests over time per model, serta Reliability & speed dengan tingkat kesalahan, latensi p95, dan latensi dari waktu ke waktu

Budget usage dan Top agents & keys

Gambar 4: Budget usage dan Top agents & keys yang diurutkan berdasarkan pengeluaran

Peta panas Activity

Gambar 5: Peta panas Activity: penggunaan selama setahun, yang dapat dialihkan antara Tokens, Spend, dan Requests, dengan rentetan terpanjang serta rata-rata harian dan mingguan

Panduan dokumentasi

Konsep

Cara kerjanya — model konseptualnya: saldo prabayar vs batas pengeluaran, dua jalur akses, cara permintaan diberi harga, dan glosarium lengkap.

Memulai

Memulai — mengaktifkan modul, isi ulang pertama Anda, dan permintaan pertama Anda.
Menghubungkan aplikasi Anda — panduan cepat untuk perangkat lunak Anda sendiri: URL dasar, autentikasi, dan contoh curl / Python / TypeScript.

Mengelola akses

Models — katalog, mengaktifkan dan menonaktifkan model, preset cepat, dan Auto Router.
Kunci API — membuat kunci, tampilan rahasia satu kali, batas pengeluaran per kunci, batas laju, pembatasan model, dan siklus hidup rotasi/pencabutan/penghapusan.
Connected Services — cara AI Agents dan Workflows yang dipasangkan terhubung, dan cara membatasi masing-masing.
Guardrails — perlindungan konten (penyamaran PII, penyuntingan rahasia, perisai injeksi prompt) dan filter konten kustom.

Biaya & pemantauan

Anggaran & isi ulang — saldo, isi ulang manual dan otomatis, tanda terima, riwayat transaksi, penggunaan bulanan, dan batas pengeluaran.
Aktivitas & log — tampilan analitik, ekspor CSV, dan log permintaan.

Referensi

Referensi — setiap pengaturan, nilai default, batas, dan respons kesalahan dalam satu tempat.
Pemecahan masalah — solusi berdasarkan gejala untuk permintaan yang diblokir, masalah kunci, dan pertanyaan tentang saldo.
Pertanyaan umum — FAQ.

Daftar periksa memulai

Centang item satu per satu — kemajuan Anda disimpan di browser ini, dan Anda dapat mencetak daftarnya.

Daftar periksa Model Router

0 dari 6 selesai

Aktifkan modul — buka Model Router untuk fasilitas Anda dan klik Enable Model Router di halaman sambutan. Lihat Memulai.
Isi saldo Anda — Budgets & Limits → Balance & Top-up. Isi ulang minimum adalah $10. Lihat Anggaran & isi ulang.
Aktifkan isi ulang otomatis (disarankan) — agar inferensi tidak pernah berhenti karena saldo habis.
Tetapkan batas pengeluaran (disarankan) — Budgets & Limits → Spend Limits. Batas harian atau bulanan membatasi skenario terburuk. Lihat Anggaran & isi ulang.
Hubungkan sesuatu — Agen AI yang dipasangkan terhubung secara otomatis; untuk perangkat lunak Anda sendiri, buat kunci API di Settings → Service Access & API Keys. Lihat Menghubungkan aplikasi Anda.
Verifikasi di tab Logs — setelah permintaan uji, pastikan permintaan tersebut muncul dengan model, token, dan biaya yang diharapkan.

Memilih fasilitas

Modul ini dikonfigurasi per fasilitas. Gunakan pemilih fasilitas di bilah alat utama Performance Hub untuk memilih fasilitas yang sedang Anda konfigurasikan. Selama konteks fasilitas dimuat, modul menampilkan "Loading facility context…".