Nasıl çalışır

Bu sayfa Model Router'ın arkasındaki kavramları açıklar; bir kez okuduğunuzda diğer tüm sayfalar daha anlaşılır hale gelir.

Ön ödemeli bakiye

Tesisiniz USD cinsinden ön ödemeli bir bakiye tutar. Bakiye yalnızca iki yönde hareket eder:

• Bakiye yüklediğinizde (elle, otomatik bakiye yükleme yoluyla veya hesabınıza alacak olarak işlenen bir düzeltmeyle) artar. Bakiye yüklemeleri anında görünür.
• Kullanım biriktikçe azalır. Kullanım, çıkarım hizmeti tarafından canlı olarak bildirilir ve 15 dakikada bir ön ödemeli bakiyenizle mutabakat yapılır; bu nedenle çok yeni etkinliğin Monthly usage bölümünde görünmesi birkaç dakika sürebilir. İşlem geçmişi yalnızca bakiye yüklemelerini ve bakiye düzeltmelerini listeler.

Bakiye mali sınırdır: sıfıra ulaştığında, siz bakiye yükleyene kadar çıkarım istekleri bir insufficient credits hatasıyla engellenir. Model listeleme bakiye sıfırken de çalışır; böylece entegrasyonlar, siz hesaba bakiye yüklemeden önce kataloğu keşfedebilir.

Model kataloğu

Katalog, birçok sağlayıcının modellerini içerir ve her biri milyon token başına fiyatlandırılır (giriş ve çıkış ayrı fiyatlandırılır ve Models ayarlarında gösterilir). Tüm modeller tesisiniz için varsayılan olarak etkindir; şunları yapabilirsiniz:

• Settings → Models bölümünde modelleri hesap genelinde devre dışı bırakabilirsiniz (en az bir modelin etkin kalması gerekir).
• Modelleri API anahtarı veya bağlı hizmet bazında kısıtlayabilirsiniz: tesisin etkin model kümesinin üzerine daha dar bir liste.

Özel bir katalog girişi olan auto (Auto Router) seçeneğinin kendine ait bir fiyatı yoktur. Her istek için istemin karmaşıklığına göre en iyi modeli otomatik olarak seçer ve size seçtiği modelin ücreti üzerinden fatura kesilir. Bkz. Models.

Modelleri kullanmanın iki yolu

1. Bağlı Servisler

Tesisinizle eşleştirilmiş AI Agent cihazları Model Router'a otomatik olarak bağlanır (cihaza hiçbir zaman API anahtarı girilmez); Workflows da bağlanabilir. Her bağlı hizmet, Settings → Service Access & API Keys altında Connected Services bölümünde kendi harcama rakamlarıyla görünür ve her birine kendi harcama sınırlarını, model kısıtlamalarını ve guardrail geçersiz kılmalarını verebilirsiniz. Bkz. Connected Services.

2. Kendi API anahtarlarınız

BYOK (Bring Your Own Key, kendi anahtarını getir) destekleyen üçüncü taraf yazılımların ve sistemlerin Performance Hub tarafından yayımlanan modellere bağlanabilmesi için API anahtarları (phk_ ile başlar) oluşturabilirsiniz. Uç nokta OpenAI uyumludur: herhangi bir OpenAI SDK'sını veya aracını temel URL'ye yönlendirin ve anahtarınızla kimlik doğrulayın. Bkz. API anahtarları ve Uygulamanızı bağlama.

Her iki yol da aynı bakiyeyi kullanır, aynı hesap genelindeki harcama sınırlarına uyar, aynı Activity analizlerinde ve Logs bölümünde görünür ve ayrı ayrı sınırlandırılabilir.

Bakiye ve harcama sınırları

Bunlar iki farklı mekanizmadır ve her ikisi de uygulanır:

Hesap harcama sınırlarının üç zaman aralığı vardır: günlük (her gün gece yarısı, tesisin yerel saatiyle sıfırlanır), aylık (her ayın 1'inde, tesisin yerel saatiyle sıfırlanır) ve kullanım süresi boyunca geçerli kesin üst sınır (son elle sıfırlamadan bu yana yapılan harcamayı sayar; kendi kendine hiçbir zaman sıfırlanmaz). Herhangi bir kombinasyon aynı anda etkin olabilir ve sınırlar tüm API anahtarları ile bağlı hizmetlerin toplamına uygulanır. Ön ödemeli bakiye bunlara ek olarak yine geçerlidir.

Anahtar ve hizmet bazındaki sınırlar aynı şekilde çalışır (günlük, aylık, kullanım süresi boyunca) ancak yalnızca o anahtarın veya hizmetin harcamasını sayar. Bir sınıra ulaşıldığında yalnızca o anahtar veya hizmet engellenir; tesisin geri kalanı çalışmaya devam eder.

Bir istek nasıl işlenir

Uç noktaya bir istek geldiğinde denetimler şu sırayla çalışır:

1. Kimlik doğrulama: geçerli bir API anahtarı veya bağlı hizmet kimliği. API anahtarı için, Model Router'ın etkin olmadığı bir tesis bu aşamada HTTP 403 ile reddedilir ("Model Router is not enabled for this facility"). Model listeleme (GET /v1/models) kimlik doğrulamanın hemen ardından yanıtlanır; bu nedenle bakiye sıfırken de çalışmaya devam eder.
2. Ön ödemeli kredi denetimi: kullanılabilir bakiye $0'ın üzerinde olmalıdır (bağlı hizmetler için Model Router'ın da etkin olması gerekir); aksi takdirde istek bir insufficient credits hatasıyla (HTTP 402) reddedilir.
3. Hesap harcama sınırları: günlük, aylık veya kullanım süresi boyunca geçerli üst sınır aşılırsa istek, zaman aralığının tesisinizin saat diliminde ne zaman sıfırlanacağını belirten bir budget exceeded hatasıyla (HTTP 402) reddedilir.
4. Anahtar / hizmet bazında harcama sınırları: çağıran anahtar veya hizmetle sınırlı aynı denetim.
5. İstem denetimleri: istem enjeksiyonu kalkanı ve özel içerik filtreleriniz istem üzerinde çalışır. Bir block filtresi veya enjeksiyon eşleşmesi isteği reddeder (HTTP 403, content policy violation); redact filtreleri eşleşmeleri [REDACTED] olarak yeniden yazar ve isteğin devam etmesine izin verir.
6. Model yönlendirme: auto, Auto Router tarafından somut bir modele çözümlenir (görsel içeren bir istek, izin verdiğiniz görsel destekli bir modele gönderilir). Yedek modeller anahtarın kullanabileceği modellerle filtrelenir, istek kendi akıl yürütme ayarını belirtmiyorsa sizin ayarınız uygulanır ve istenen çıkış sınırları modelin desteklediği değerlere indirilir.
7. Çıkarım: PII masking ve secret redaction (etkinse) istem modele ulaşmadan önce çıkarım hizmeti tarafından uygulanır; ardından istek model sağlayıcısına gider ve yanıt akış halinde geri döner.

Hız sınırları (anahtarda veya hizmette ayarlanmışsa istek/dakika ve token/dakika) süreç boyunca uygulanır; aşılmaları HTTP 429 döndürür.

Neler kaydedilir

Her istek meta verileriyle birlikte günlüğe kaydedilir: zaman, model (hem istenen model hem de yönlendiricinin seçtiği model), sağlayıcı, token'lar (istem, tamamlama, önbelleğe alınmış, akıl yürütme), maliyet, gecikme, ilk token'a kadar geçen süre, hız, durum ve çağıran anahtar veya hizmet. İstem ve yanıt içeriği hiçbir zaman saklanmaz.

Modülde gösterilen kullanım ve harcama rakamları, sınırların uygulanmasında kullanılan rakamlarla aynıdır; dolayısıyla "limit reached" olarak gördüğünüz şey tam olarak engellenen şeydir.

Terimler sözlüğü