Как это работает

На этой странице описаны основные понятия Model Router — прочитайте ее один раз, и остальные страницы станут понятнее.

Предоплаченный баланс

У вашего объекта есть предоплаченный баланс в USD. Он меняется только в двух направлениях:

• Увеличивается, когда вы его пополняете (вручную, с помощью автопополнения или за счет корректировки, зачисленной на вашу учетную запись). Пополнения отображаются мгновенно.
• Уменьшается по мере использования. Сервис инференса сообщает об использовании в реальном времени, а сверка с вашим предоплаченным балансом выполняется каждые 15 минут, поэтому самая последняя активность может появиться в Monthly usage через несколько минут. В истории транзакций перечислены только пополнения и корректировки баланса.

Баланс — это финансовый барьер: когда он достигает нуля, запросы на инференс блокируются с ошибкой insufficient credits, пока вы не пополните баланс. Получение списка моделей работает и при нулевом балансе, поэтому интеграции могут узнать каталог еще до пополнения учетной записи.

Каталог моделей

Каталог содержит модели многих провайдеров, каждая из которых тарифицируется за миллион токенов (входные и выходные токены тарифицируются отдельно, цены указаны в настройках Models). По умолчанию для вашего объекта включены все модели; вы можете:

• Отключать модели для всей учетной записи в разделе «Настройки» → Models (хотя бы одна модель должна оставаться включенной).
• Ограничивать модели для отдельного ключа API или подключенного сервиса — более узкий список поверх набора, включенного для объекта.

У особой записи каталога auto (Auto Router) нет собственной цены. Для каждого запроса она автоматически выбирает лучшую модель с учетом сложности запроса, а оплата начисляется по тарифу выбранной модели. См. Models.

Два способа использования моделей

1. Подключенные сервисы

Устройства ИИ-агентов, сопряженные с вашим объектом, подключаются к Model Router автоматически — ключ API никогда не вводится на устройстве, — и Workflows тоже могут подключаться. Каждый подключенный сервис отображается в разделе «Настройки» → Service Access & API Keys в списке Connected Services с собственными показателями расходов, и для каждого можно задать собственные лимиты расходов, ограничения моделей и переопределения защитных механизмов. См. Connected Services.

2. Ваши собственные ключи API

Вы можете создавать ключи API (они начинаются с phk_), чтобы стороннее программное обеспечение и системы, поддерживающие BYOK (Bring Your Own Key), могли подключаться к моделям, опубликованным Performance Hub. Конечная точка совместима с OpenAI — укажите базовый URL в любом SDK или инструменте OpenAI и пройдите аутентификацию со своим ключом. См. Ключи API и Подключение приложения.

Оба способа используют один и тот же баланс, подчиняются одним и тем же лимитам расходов для всей учетной записи, отображаются в одной и той же аналитике Activity и Logs и могут ограничиваться по отдельности.

Баланс и лимиты расходов

Это два разных механизма, и действуют оба:

Лимиты расходов учетной записи бывают трех видов — дневной (сбрасывается каждый день в полночь по местному времени объекта), месячный (сбрасывается 1-го числа каждого месяца по местному времени объекта) и пожизненный жесткий лимит (учитывает расходы с момента последнего ручного сброса и сам по себе никогда не сбрасывается). Одновременно может действовать любое их сочетание, а лимиты применяются к суммарным расходам всех ключей API и подключенных сервисов. Предоплаченный баланс по-прежнему действует дополнительно.

Лимиты для отдельных ключей и сервисов работают так же (дневной, месячный, пожизненный), но учитывают расходы только этого ключа или сервиса. При достижении лимита блокируется только этот ключ или сервис — остальная часть объекта продолжает работать.

Как обрабатывается запрос

Когда запрос поступает на конечную точку, проверки выполняются в следующем порядке:

1. Аутентификация — действительный ключ API или учетная запись подключенного сервиса. Для ключа API запрос к объекту, для которого Model Router не включен, отклоняется на этом этапе с HTTP 403 ("Model Router is not enabled for this facility"). Запрос списка моделей (GET /v1/models) обрабатывается сразу после аутентификации, поэтому он работает и при нулевом балансе.
2. Проверка предоплаченного баланса — доступный баланс должен быть больше $0 (для подключенных сервисов Model Router также должен быть включен); в противном случае запрос отклоняется с ошибкой insufficient credits (HTTP 402).
3. Лимиты расходов учетной записи — если превышен дневной, месячный или пожизненный лимит, запрос отклоняется с ошибкой budget exceeded (HTTP 402), в которой указано, когда период сбросится, по часовому поясу вашего объекта.
4. Лимиты расходов ключа или сервиса — такая же проверка, но для вызывающего ключа или сервиса.
5. Проверки запроса — к запросу применяются защита от внедрения подсказок и ваши пользовательские фильтры контента. Фильтр block или обнаруженное внедрение отклоняет запрос (HTTP 403, content policy violation); фильтры redact заменяют совпадения на [REDACTED] и пропускают запрос дальше.
6. Маршрутизация модели — Auto Router сопоставляет auto с конкретной моделью (запрос с изображением направляется в разрешенную вами модель, поддерживающую обработку изображений). Резервные модели отбираются из тех, которые разрешено использовать ключу, ваш параметр рассуждений применяется, если запрос не задает собственный, а запрошенные ограничения на выходные данные приводятся к возможностям модели.
7. Инференс — маскирование PII и удаление секретов (если включены) выполняются сервисом инференса до того, как запрос попадет в модель; затем запрос отправляется провайдеру модели, и ответ передается обратно потоком.

Ограничения частоты (запросов в минуту и токенов в минуту, если они заданы для ключа или сервиса) действуют на всех этапах; при их превышении возвращается HTTP 429.

Что записывается

Каждый запрос записывается в журнал с метаданными: время, модель (запрошенная и выбранная маршрутизатором), провайдер, токены (запроса, завершения, кэшированные, рассуждений), стоимость, задержка, время до первого токена, скорость, статус и вызывающий ключ или сервис. Содержимое запросов и ответов никогда не сохраняется.

Показатели использования и расходов в модуле — те же самые показатели, которые используются для применения ограничений, поэтому то, что вы видите как «лимит достигнут», — это именно то, что блокируется.

Глоссарий