Model Router
Pada halaman ini
Model Router memberikan premis anda akses prabayar kepada katalog model AI terkemuka melalui satu titik akhir tunggal yang serasi dengan OpenAI. AI Agents Performance Hub anda bersambung kepadanya secara automatik tanpa persediaan, Workflows juga boleh bersambung, dan anda boleh memperuntukkan kunci API anda sendiri untuk menyambungkan model yang sama ke perisian pihak ketiga atau dalaman — pembantu tempahan, borang pendaftaran klinik atau aplikasi concierge hotel. Anda menambah nilai baki dalam USD, menetapkan had perbelanjaan dan memerhati setiap permintaan secara masa nyata — semuanya dari satu tempat.
Rujukan Pantas
Tempat untuk mencarinya: Menu utama → Model Router (premis Technology Stack). Modul ini terletak dalam kumpulan AI Modules & Agents pada menu utama.
Siapa yang boleh mengakses: Organisation Administrator sahaja (premis Technology Stack).
Tujuan: Membeli inferens AI menggunakan baki prabayar: mengurus kunci API, had perbelanjaan, tambah nilai automatik dan penggunaan.
Cara semuanya berfungsi bersama
- Premis anda memegang baki prabayar dalam USD. Anda menambah nilainya dengan kad pengebilan yang disimpan (secara manual atau automatik), dan setiap permintaan AI menolak baki mengikut harga model yang melayaninya.
- Katalog model merangkumi model daripada banyak penyedia. Semua model didayakan secara lalai; anda boleh menghidupkan atau mematikan model individu untuk premis anda, dan mengehadkannya lagi bagi setiap kunci API atau setiap perkhidmatan yang bersambung.
- Terdapat dua cara untuk menggunakan model:
- Connected Services — peranti Ejen AI yang dipasangkan bersambung secara automatik, tanpa memerlukan kunci API, dan Workflows juga boleh bersambung.
- Kunci API anda sendiri — peruntukkan kunci dan halakan mana-mana SDK atau alat yang serasi dengan OpenAI ke titik akhir Performance Hub.
- Had perbelanjaan (harian, bulanan dan had mutlak sepanjang hayat) membolehkan anda mengehadkan perbelanjaan secara bebas daripada baki, merentas setiap kunci dan perkhidmatan yang bersambung — dengan had yang lebih ketat bagi setiap kunci dan setiap perkhidmatan tersedia di atasnya.
- Setiap permintaan direkodkan — model, token, kos, kependaman dan status — dalam analitik Activity dan tab Logs. Kandungan gesaan dan respons tidak pernah disimpan.
Bahagian utama
Modul ini mempunyai empat tab serta bahagian Settings (ikon gear, di bahagian atas sebelah kanan):
| Bahagian | Perkara yang anda lakukan di sana |
|---|---|
| Overview | Papan pemuka: baki tersedia, perbelanjaan hari ini dan bulan ini, anggaran tempoh baki bertahan, carta perbelanjaan dan permintaan, kebolehpercayaan secara sepintas lalu, penggunaan belanjawan, serta ejen & kunci teratas. |
| Activity | Analitik penggunaan mendalam dengan empat paparan (Overview, Trends, Performance, Explore), penapis mengikut kunci/ejen dan model, serta eksport CSV. |
| Budgets & Limits | Dua subtab: Spend Limits (had harian/bulanan/sepanjang hayat untuk seluruh akaun dan had bagi setiap perkhidmatan) dan Balance & Top-up (tambah nilai manual, tambah nilai automatik, sejarah transaksi dan penggunaan bulanan). |
| Logs | Jejak audit bagi setiap permintaan: model, token, kos, kelajuan dan status setiap permintaan, dengan muat semula langsung, carian, penapis dan laci butiran. |
| Settings (gear) | Models (dayakan/nyahdayakan model katalog, edit Auto Router), Service Access & API Keys (perkhidmatan yang bersambung, kunci API dan butiran sambungan API) dan Guardrails (perlindungan kandungan dan penapis kandungan tersuai). |
Papan pemuka Overview
Tab Overview meringkaskan akaun anda secara sepintas lalu.
Rajah 1: Jalur statistik (Available balance, Spent today, Spent this month dan Estimated runway) serta cip ringkasan pantas untuk tambah nilai automatik, had, model dan perkhidmatan yang bersambung
Di bawah jalur statistik, cip meringkaskan tambah nilai automatik, had perbelanjaan, model yang didayakan dan bilangan perkhidmatan bersambung yang dalam talian. Cip Low balance dipaparkan di sebelahnya apabila baki berada pada atau di bawah ambang tambah nilai automatik.
- Available balance — kredit prabayar yang berbaki pada masa ini.
- Spent today / Spent this month — caj penggunaan pada hari semasa dan bulan kalendar semasa (waktu tempatan premis).
- Estimated runway — "Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."
Rajah 2: Spend over time (14 hari terakhir, dengan perubahan berbanding tempoh sebelumnya) dan Spend by model
Rajah 3: Requests over time mengikut model, dan Reliability & speed dengan kadar ralat, kependaman p95 dan kependaman dari semasa ke semasa
Rajah 4: Budget usage dan Top agents & keys yang disusun mengikut perbelanjaan
Rajah 5: Peta haba Activity: penggunaan selama setahun, boleh ditukar antara Tokens, Spend dan Requests, dengan rentetan terpanjang serta purata harian dan mingguan
Panduan dokumentasi
Konsep
- Cara ia berfungsi — model konseptual: baki prabayar berbanding had perbelanjaan, dua laluan akses, cara permintaan dicaj harga dan glosari penuh.
Bermula
- Bermula — mendayakan modul, tambah nilai pertama anda dan permintaan pertama anda.
- Menyambungkan aplikasi anda — panduan mula pantas untuk perisian anda sendiri: URL asas, pengesahan dan contoh curl / Python / TypeScript.
Mengurus akses
- Models — katalog, mendayakan dan menyahdayakan model, pratetap pantas dan Auto Router.
- Kunci API — mencipta kunci, paparan rahsia sekali sahaja, had perbelanjaan bagi setiap kunci, had kadar, sekatan model dan kitar hayat putar/batal/padam.
- Connected Services — cara AI Agents dan Workflows yang dipasangkan bersambung, dan cara mengehadkan setiap satunya.
- Guardrails — perlindungan kandungan (penyamaran PII, penyuntingan rahsia, perisai suntikan gesaan) dan penapis kandungan tersuai.
Wang & pemantauan
- Belanjawan & tambah nilai — baki, tambah nilai manual dan automatik, resit, sejarah transaksi, penggunaan bulanan dan had perbelanjaan.
- Aktiviti & log — paparan analitik, eksport CSV dan log permintaan.
Rujukan
- Rujukan — setiap tetapan, nilai lalai, had dan respons ralat di satu tempat.
- Penyelesaian masalah — pembetulan mengikut simptom untuk permintaan yang disekat, isu kunci dan soalan tentang baki.
- Soalan lazim — Soalan Lazim.
Senarai semak permulaan
Tandakan item semasa anda melaksanakannya — kemajuan anda disimpan dalam pelayar ini, dan anda boleh mencetak senarai tersebut.
Memilih kemudahan
Modul ini dikonfigurasikan bagi setiap premis. Gunakan pemilih kemudahan dalam bar alat utama Performance Hub untuk memilih premis yang sedang anda konfigurasikan. Semasa konteks premis dimuatkan, modul ini memaparkan "Loading facility context…".