วิธีการทำงาน

หน้านี้อธิบายแนวคิดเบื้องหลัง Model Router — อ่านเพียงครั้งเดียวแล้วหน้าอื่น ๆ ทั้งหมดจะเข้าใจได้ง่ายขึ้น

ยอดคงเหลือแบบชำระเงินล่วงหน้า

สถานที่ของคุณมียอดคงเหลือแบบชำระเงินล่วงหน้าเป็น USD ซึ่งเปลี่ยนแปลงได้เพียงสองทิศทาง:

• เพิ่มขึ้น เมื่อคุณเติมเงิน (ด้วยตนเอง ผ่านการเติมเงินอัตโนมัติ หรือจากการปรับยอดที่เพิ่มเข้าบัญชีของคุณ) การเติมเงินจะปรากฏทันที
• ลดลง ตามการใช้งานที่เกิดขึ้น บริการประมวลผลจะรายงานการใช้งานแบบสด และกระทบยอดกับยอดคงเหลือแบบชำระเงินล่วงหน้าของคุณทุก 15 นาที กิจกรรมล่าสุดจึงอาจใช้เวลาสองสามนาทีกว่าจะปรากฏใน Monthly usage ประวัติธุรกรรมแสดงเฉพาะการเติมเงินและการปรับยอดคงเหลือเท่านั้น

ยอดคงเหลือคือกำแพงทางการเงิน: เมื่อยอดคงเหลือถึงศูนย์ คำขอประมวลผลจะถูกบล็อกพร้อมข้อผิดพลาด insufficient credits จนกว่าคุณจะเติมเงิน การแสดงรายการโมเดลยังคงทำงานได้เมื่อยอดคงเหลือเป็นศูนย์ การผสานรวมจึงค้นหาแคตตาล็อกได้ก่อนที่คุณจะเติมเงินเข้าบัญชี

แคตตาล็อกโมเดล

แคตตาล็อกประกอบด้วยโมเดลจากผู้ให้บริการหลายราย แต่ละโมเดลกำหนดราคาต่อหนึ่งล้านโทเค็น (ราคาขาเข้าและขาออกแยกกัน แสดงในการตั้งค่า Models) โมเดลทั้งหมดเปิดใช้งานโดยค่าเริ่มต้นสำหรับสถานที่ของคุณ และคุณสามารถ:

• ปิดใช้งานโมเดลทั้งบัญชี ใน Settings → Models (ต้องเปิดใช้งานไว้อย่างน้อยหนึ่งโมเดล)
• จำกัดโมเดลแยกตามคีย์ API หรือตามบริการที่เชื่อมต่อ — รายการที่แคบลงซ้อนบนชุดโมเดลที่เปิดใช้งานของสถานที่

รายการพิเศษในแคตตาล็อก auto (Auto Router) ไม่มีราคาของตนเอง สำหรับแต่ละคำขอ ระบบจะเลือกโมเดลที่ดีที่สุดโดยอัตโนมัติตามความซับซ้อนของพรอมต์ และคุณจะถูกเรียกเก็บเงินตามอัตราของโมเดลที่ถูกเลือก ดู Models

สองวิธีในการใช้งานโมเดล

1. บริการที่เชื่อมต่อ

อุปกรณ์ตัวแทน AI ที่จับคู่กับสถานที่ของคุณจะเชื่อมต่อกับ Model Router โดยอัตโนมัติ — โดยไม่มีการป้อนคีย์ API บนอุปกรณ์เลย — และ Workflows ก็เชื่อมต่อได้เช่นกัน บริการที่เชื่อมต่อแต่ละรายการจะปรากฏใน Settings → Service Access & API Keys ภายใต้ Connected Services พร้อมตัวเลขค่าใช้จ่ายของตนเอง และคุณสามารถกำหนดขีดจำกัดค่าใช้จ่าย การจำกัดโมเดล และการแทนที่ Guardrails ให้แต่ละรายการได้ ดู Connected Services

2. คีย์ API ของคุณเอง

คุณสามารถจัดเตรียมคีย์ API (ขึ้นต้นด้วย phk_) เพื่อให้ซอฟต์แวร์และระบบของบุคคลที่สามที่รองรับ BYOK (Bring Your Own Key) เชื่อมต่อกับโมเดลที่ Performance Hub เผยแพร่ได้ เอนด์พอยต์เข้ากันได้กับ OpenAI — ชี้ OpenAI SDK หรือเครื่องมือใดก็ได้ไปยัง base URL และยืนยันตัวตนด้วยคีย์ของคุณ ดู คีย์ API และ การเชื่อมต่อแอปพลิเคชันของคุณ

ทั้งสองช่องทางใช้ยอดคงเหลือเดียวกัน ปฏิบัติตามขีดจำกัดค่าใช้จ่ายระดับบัญชีเดียวกัน ปรากฏในการวิเคราะห์ Activity และ Logs เดียวกัน และสามารถจำกัดขอบเขตแยกกันได้

ยอดคงเหลือเทียบกับขีดจำกัดค่าใช้จ่าย

ทั้งสองเป็นกลไกที่แตกต่างกัน และมีผลทั้งคู่:

ขีดจำกัดค่าใช้จ่ายระดับบัญชีมีสามช่วงเวลา ได้แก่ รายวัน (รีเซ็ตทุกวันเวลาเที่ยงคืนตามเวลาท้องถิ่นของสถานที่) รายเดือน (รีเซ็ตในวันที่ 1 ของแต่ละเดือนตามเวลาท้องถิ่นของสถานที่) และเพดานสูงสุดตลอดอายุการใช้งาน (นับค่าใช้จ่ายตั้งแต่การรีเซ็ตด้วยตนเองครั้งล่าสุด ไม่รีเซ็ตเอง) เปิดใช้งานแบบผสมใดก็ได้พร้อมกัน และขีดจำกัดจะมีผลกับคีย์ API และบริการที่เชื่อมต่อทั้งหมดรวมกัน ยอดคงเหลือแบบชำระเงินล่วงหน้ายังคงมีผลซ้อนอยู่ด้วย

ขีดจำกัดรายคีย์และรายบริการทำงานแบบเดียวกัน (รายวัน รายเดือน ตลอดอายุการใช้งาน) แต่นับเฉพาะค่าใช้จ่ายของคีย์หรือบริการนั้น เมื่อถึงขีดจำกัด เฉพาะคีย์หรือบริการนั้นจะถูกบล็อก — ส่วนอื่นของสถานที่ยังคงทำงานได้ตามปกติ

วิธีการประมวลผลคำขอ

เมื่อคำขอมาถึงเอนด์พอยต์ ระบบจะตรวจสอบตามลำดับต่อไปนี้:

1. การยืนยันตัวตน — คีย์ API หรือข้อมูลประจำตัวของบริการที่เชื่อมต่อที่ถูกต้อง สำหรับคีย์ API สถานที่ที่ยังไม่ได้เปิดใช้งาน Model Router จะถูกปฏิเสธในขั้นตอนนี้ด้วย HTTP 403 ("Model Router is not enabled for this facility") การแสดงรายการโมเดล (GET /v1/models) จะได้รับการตอบกลับทันทีหลังการยืนยันตัวตน จึงยังคงทำงานได้เมื่อยอดคงเหลือเป็นศูนย์
2. การตรวจสอบเครดิตแบบชำระเงินล่วงหน้า — ยอดคงเหลือที่ใช้ได้ต้องมากกว่า $0 (สำหรับบริการที่เชื่อมต่อ ต้องเปิดใช้งาน Model Router ด้วย) มิฉะนั้นคำขอจะถูกปฏิเสธพร้อมข้อผิดพลาด insufficient credits (HTTP 402)
3. ขีดจำกัดค่าใช้จ่ายระดับบัญชี — หากเกินเพดานรายวัน รายเดือน หรือตลอดอายุการใช้งาน คำขอจะถูกปฏิเสธพร้อมข้อผิดพลาด budget exceeded (HTTP 402) ซึ่งระบุเวลาที่ช่วงเวลาจะรีเซ็ตตามเขตเวลาของสถานที่ของคุณ
4. ขีดจำกัดค่าใช้จ่ายรายคีย์ / รายบริการ — การตรวจสอบแบบเดียวกัน โดยจำกัดขอบเขตเฉพาะคีย์หรือบริการที่เรียกใช้
5. การตรวจสอบพรอมต์ — การป้องกัน prompt injection และตัวกรองเนื้อหาแบบกำหนดเองของคุณจะทำงานกับพรอมต์ ตัวกรองแบบ block หรือการตรวจพบ injection จะปฏิเสธคำขอ (HTTP 403, content policy violation) ส่วนตัวกรองแบบ redact จะเขียนส่วนที่ตรงกันใหม่เป็น [REDACTED] และให้คำขอดำเนินต่อไป
6. การกำหนดเส้นทางโมเดล — Auto Router จะแปลง auto เป็นโมเดลที่ระบุ (คำขอที่มีรูปภาพจะถูกส่งไปยังโมเดลที่รองรับการมองเห็นซึ่งคุณอนุญาต) โมเดลสำรองจะถูกกรองให้เหลือเฉพาะโมเดลที่คีย์ใช้ได้ การตั้งค่าการให้เหตุผลของคุณจะถูกนำไปใช้เมื่อคำขอไม่ได้กำหนดเอง และขีดจำกัดเอาต์พุตที่ขอจะถูกปรับให้อยู่ในขอบเขตที่โมเดลรองรับ
7. การประมวลผล — บริการประมวลผลจะใช้การปิดบัง PII และการปกปิดข้อมูลลับ (เมื่อเปิดใช้งาน) ก่อนที่พรอมต์จะไปถึงโมเดล จากนั้นคำขอจะถูกส่งไปยังผู้ให้บริการโมเดลและการตอบกลับจะสตรีมกลับมา

ขีดจำกัดอัตรา (คำขอ/นาที และโทเค็น/นาที หากตั้งไว้กับคีย์หรือบริการ) จะถูกบังคับใช้ตลอดกระบวนการ การเกินขีดจำกัดจะส่งคืน HTTP 429

สิ่งที่ถูกบันทึก

ทุกคำขอจะถูกบันทึกพร้อมข้อมูลเมตา ได้แก่ เวลา โมเดล (ทั้งโมเดลที่ขอและโมเดลที่ Router เลือก) ผู้ให้บริการ โทเค็น (พรอมต์ คำตอบ แคช การให้เหตุผล) ค่าใช้จ่าย เวลาแฝง เวลาจนถึงโทเค็นแรก ความเร็ว สถานะ และคีย์หรือบริการที่เรียกใช้ เนื้อหาของพรอมต์และการตอบกลับจะไม่ถูกจัดเก็บ

ตัวเลขการใช้งานและค่าใช้จ่ายที่แสดงในโมดูลเป็นตัวเลขเดียวกับที่ใช้ในการบังคับใช้ สิ่งที่คุณเห็นว่า "limit reached" จึงตรงกับสิ่งที่ถูกบล็อกทุกประการ

อภิธานศัพท์