Skip to Content
DocsErweiterte FunktionenAnbieter-Routing

Provider-Routing

Ein Modell wird häufig von mehr als einem Anbieter bereitgestellt — bytedance/seedance-2.0 etwa kommt sowohl von volcengine als auch von byteplus. ofox wählt den Anbieter automatisch aus; mit provider.type bindest du die Anfrage an einen bestimmten Anbieter.

Standard-Routing

Ohne das Feld provider verteilt ofox die Anfrage gewichtet auf die Kanäle, die das Modell gerade bereitstellen. Welcher Anbieter eine einzelne Anfrage bedient, ist nicht vorhersehbar.

Anbieter festlegen

Gib den Anbieternamen im Feld type an. Das Feld steht je nach Modelltyp an einer anderen Stelle:

ModelltypFeldpfad
Chatmodelleextra_body.provider.type
Videomodelleprovider.type

Das native Gemini-Protokoll ignoriert extra_body.provider im Body — die Anfrage geht durch, die Einschränkung greift schlicht nicht, und es gibt keinen Fehler. Nutze auf diesem Protokoll den Header X-OfoxAI-Provider-Type. Der Feldvertrag je Protokoll steht unter API · Provider-Routing.

Terminal
curl https://api.ofox.run/v1/chat/completions \ -H "Authorization: Bearer $OFOX_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "anthropic/claude-sonnet-5", "messages": [{ "role": "user", "content": "..." }], "extra_body": { "provider": { "type": "bedrock" } } }'

Bei den offiziellen OpenAI-SDKs muss extra_body als wörtlicher Schlüssel im Request-Body vorhanden sein. Das TypeScript-SDK sendet es so, wie es im Parameterobjekt steht. Das Argument extra_body= des Python-SDK verschmilzt seinen Inhalt mit der obersten Ebene des Bodys; der Schlüssel muss dort also eine Ebene tiefer verschachtelt oder stattdessen als Request-Header übergeben werden.

Verfügbare Anbieter

Die derzeit von ofox unterstützten Anbieter sind unten aufgeführt. Die Kurznamen in Klammern sind dem vollen Namen gleichwertig; beide können verwendet werden:

AnbieterBeschreibung
openaiOpenAI :offizielle API der GPT-Familie
anthropicAnthropic :offizielle API der Claude-Familie
geminiGoogle AI :offizielle API der Gemini-Familie
azure_foundry (foundry)Azure AI Foundry :Modell-Hosting-Plattform auf Microsoft Azure
aws_bedrock (bedrock)Amazon Bedrock :Modell-Hosting-Dienst auf AWS
google_vertex (vertex)Vertex AI :Modell-Hosting-Plattform auf Google Cloud
aliyunAlibaba Cloud Bailian :Modelldienst-Plattform von Alibaba Cloud
volcengineVolcengine Ark :ByteDance-Plattform für Festlandchina
byteplusBytePlus :ByteDance-Plattform für Märkte außerhalb Festlandchinas
deepseekDeepSeek :offizielle API der DeepSeek-Familie
moonshotMoonshot AI :offizielle API der Kimi-Familie
zhipuZhipu AI :offizielle API der GLM-Familie
minimaxMiniMax :offizielle API der MiniMax-Familie
grokxAI :offizielle API der Grok-Familie
jinaJina AI :Embedding- und Rerank-Modelle
tencentTencent Cloud Hunyuan :Modelldienst-Plattform von Tencent Cloud

Nicht jeder Anbieter stellt jedes Modell bereit. Welche Anbieter ein bestimmtes Modell bereitstellen — und welche Protokolle sie jeweils unterstützen — steht auf der Seite dieses Modells im Modellkatalog . Dieselben Daten gibt es programmatisch als provider_cards[] aus GET /v2/models/catalog/{provider}/{slug}?include=provider_price.

Chatmodelle

Chatmodelle verteilen sich auf die meisten der oben genannten Anbieter. Die genaue Zuordnung und die Protokollunterstützung stehen auf der jeweiligen Modellseite.

Videomodelle

Die Familie bytedance/seedance-* wird von den beiden folgenden Anbietern bereitgestellt, deren Inhaltsrichtlinien sich unterscheiden:

AnbieterBeschreibungInhaltsrichtlinie
volcengineVolcengine Ark, ByteDance-Plattform für FestlandchinaStandardmoderation
byteplusBytePlus, ByteDance-Plattform für Märkte außerhalb FestlandchinasErlaubt Inhalte, die nicht für alle Zielgruppen geeignet sind (NSFW)

byteplus erlaubt seedance die Erzeugung von Inhalten, die nicht für alle Zielgruppen geeignet sind (NSFW), während volcengine eine Standardmoderation anwendet. Wird solcher Inhalt benötigt, muss provider.type: "byteplus" ausdrücklich gesetzt werden; andernfalls kann die gewichtete Verteilung die Anfrage an volcengine leiten, wo die Moderation sie ablehnt.

Häufige Fehler

error.typeAuslöser
invalid_provider_typeDer Wert steht nicht in der Anbieter-Enumeration: falsch geschriebener Name oder abgeschaffte Schreibweise.
provider_type_unavailableDen Anbieter gibt es, aber er stellt dieses Modell nicht bereit. Bei Chatmodellen nennt die Fehlermeldung zusätzlich die Anbieter, die es tun.
Last updated on