איך זה עובד

דף זה מסביר את המושגים שמאחורי Model Router — קראו אותו פעם אחת, וכל שאר הדפים יהיו ברורים יותר.

היתרה בתשלום מראש

למתקן שלכם יש יתרה בתשלום מראש בדולר אמריקאי (USD). היא נעה רק בשני כיוונים:

• למעלה כשאתם טוענים אותה (ידנית, באמצעות טעינה אוטומטית, או באמצעות התאמה שזוכתה לחשבון שלכם). הטעינות מופיעות מיד.
• למטה ככל שהשימוש מצטבר. שירות ההסקה מדווח על השימוש בזמן אמת, והוא מותאם מול היתרה בתשלום מראש כל 15 דקות, כך שפעילות עדכנית מאוד עשויה להופיע ב-Monthly usage רק אחרי כמה דקות. היסטוריית העסקאות מפרטת טעינות והתאמות יתרה בלבד.

היתרה היא החומה הפיננסית: כשהיא מגיעה לאפס, בקשות הסקה נחסמות עם שגיאת insufficient credits עד שתטענו אותה. הצגת רשימת המודלים עדיין עובדת ביתרה אפס, כך ששילובים יכולים לגלות את הקטלוג לפני שאתם מממנים את החשבון.

קטלוג המודלים

הקטלוג כולל מודלים מספקים רבים, וכל אחד מתומחר למיליון טוקנים (קלט ופלט מתומחרים בנפרד, ומוצגים בהגדרות Models). כל המודלים מופעלים כברירת מחדל עבור המתקן שלכם; אתם יכולים:

• להשבית מודלים ברמת החשבון כולו ב-Settings ← Models (לפחות מודל אחד חייב להישאר מופעל).
• להגביל מודלים לכל מפתח API או לכל שירות מחובר — רשימה מצומצמת יותר בנוסף לקבוצת המודלים המופעלים של המתקן.

לפריט מיוחד בקטלוג, auto (ה-Auto Router), אין מחיר משלו. לכל בקשה הוא בוחר אוטומטית את המודל הטוב ביותר לפי מורכבות ההנחיה, ואתם מחויבים לפי התעריף של המודל שהוא בוחר. ראו Models.

שתי דרכים לצרוך מודלים

1. שירותים מחוברים

מכשירי סוכן בינה מלאכותית שמצומדים למתקן שלכם מתחברים ל-Model Router אוטומטית — אף מפתח API לא מוזן במכשיר — וגם Workflows יכולים להתחבר. כל שירות מחובר מופיע ב-Settings ← Service Access & API Keys תחת Connected Services עם נתוני ההוצאה שלו, ואתם יכולים לתת לכל אחד מגבלות הוצאה, הגבלות מודלים ועקיפות של Guardrails משלו. ראו Connected Services.

2. מפתחות API משלכם

אתם יכולים להנפיק מפתחות API (הם מתחילים ב-phk_) כדי שתוכנות ומערכות של צד שלישי שתומכות ב-BYOK‏ (Bring Your Own Key) יוכלו להתחבר למודלים ש-Performance Hub מפרסם. נקודת הקצה תואמת ל-OpenAI — הפנו כל SDK או כלי של OpenAI לכתובת ה-URL הבסיסית ובצעו אימות עם המפתח שלכם. ראו מפתחות API ו-חיבור האפליקציה שלכם.

שני הנתיבים צורכים מאותה יתרה, כפופים לאותן מגבלות הוצאה ברמת החשבון כולו, מופיעים באותו ניתוח נתונים ב-Activity וב-Logs, ואפשר להגביל כל אחד מהם בנפרד.

יתרה לעומת מגבלות הוצאה

אלה שני מנגנונים שונים, ושניהם חלים:

מגבלות ההוצאה של החשבון מגיעות בשלושה חלונות — יומית (מתאפסת כל יום בחצות, לפי השעון המקומי של המתקן), חודשית (מתאפסת ב-1 בכל חודש, לפי השעון המקומי של המתקן) ותקרה קשיחה לכל התקופה (סופרת את ההוצאה מאז האיפוס הידני האחרון; לעולם אינה מתאפסת מעצמה). כל שילוב יכול להיות פעיל בו-זמנית, והמגבלות חלות על כל מפתחות ה-API והשירותים המחוברים יחד. היתרה בתשלום מראש עדיין חלה בנוסף.

מגבלות לכל מפתח ולכל שירות פועלות באותו אופן (יומית, חודשית, לכל התקופה), אבל סופרות רק את ההוצאה של המפתח או השירות הזה. כשמגיעים למגבלה, רק המפתח או השירות הזה נחסם — שאר המתקן ממשיך לעבוד.

איך בקשה מעובדת

כשבקשה מגיעה לנקודת הקצה, הבדיקות רצות בסדר הזה:

1. אימות — מפתח API תקין או זהות תקינה של שירות מחובר. עבור מפתח API, מתקן שבו Model Router לא מופעל נדחה כאן עם HTTP 403 ("Model Router is not enabled for this facility"). בקשה להצגת רשימת המודלים (GET /v1/models) נענית מיד אחרי האימות, כך שהיא ממשיכה לעבוד גם ביתרה אפס.
2. בדיקת הקרדיט בתשלום מראש — היתרה הזמינה חייבת להיות מעל $0 (עבור שירותים מחוברים, Model Router חייב גם להיות מופעל); אחרת הבקשה נדחית עם שגיאת insufficient credits‏ (HTTP 402).
3. מגבלות ההוצאה של החשבון — אם חרגתם מתקרה יומית, חודשית או לכל התקופה, הבקשה נדחית עם שגיאת budget exceeded‏ (HTTP 402) שמציינת מתי החלון מתאפס, לפי אזור הזמן של המתקן שלכם.
4. מגבלות הוצאה לכל מפתח / לכל שירות — אותה בדיקה, מוגבלת למפתח או לשירות הקורא.
5. בדיקות ההנחיה — המגן מפני הזרקת הנחיות ומסנני התוכן המותאמים אישית שלכם רצים על ההנחיה. מסנן block או זיהוי הזרקה דוחים את הבקשה (HTTP 403, content policy violation); מסנני redact משכתבים התאמות ל-[REDACTED] ומאפשרים לבקשה להמשיך.
6. ניתוב המודל — ה-Auto Router ממיר את auto למודל קונקרטי (בקשה שמכילה תמונה נשלחת למודל עם יכולות ראייה שאתם מתירים). המודלים החלופיים מסוננים לאלה שהמפתח רשאי להשתמש בהם, הגדרת ההסקה שלכם מוחלת כשהבקשה לא מגדירה הגדרה משלה, ומגבלות הפלט המבוקשות מוגבלות למה שהמודל תומך בו.
7. הסקה — מיסוך PII והסתרת סודות (כשהם מופעלים) מוחלים על ידי שירות ההסקה לפני שההנחיה מגיעה למודל; לאחר מכן הבקשה עוברת לספק המודל והתגובה מוזרמת בחזרה.

מגבלות קצב (בקשות לדקה וטוקנים לדקה, אם הוגדרו במפתח או בשירות) נאכפות לאורך כל התהליך; חריגה מהן מחזירה HTTP 429.

מה מתועד

כל בקשה מתועדת עם המטא-נתונים שלה: זמן, מודל (גם המודל המבוקש וגם המודל שהנתב בחר), ספק, טוקנים (הנחיה, השלמה, מטמון, הסקה), עלות, זמן השהיה, זמן עד הטוקן הראשון, מהירות, סטטוס, והמפתח או השירות הקורא. תוכן ההנחיות והתגובות לעולם אינו נשמר.

נתוני השימוש וההוצאה שמוצגים במודול הם אותם נתונים שמשמשים לאכיפה, כך שמה שאתם רואים כ"הגעה למגבלה" הוא בדיוק מה שנחסם.

מילון מונחים