OpenAI 相容 API
平台的模型推論 API 與 OpenAI API 相容。這代表:
- 既有程式碼幾乎零改動:只需替換
base_url與api_key,即可把原本呼叫 OpenAI 的應用切換到平台端點。 - 直接使用 OpenAI 官方 SDK:Python、JavaScript 生態的既有工具鏈都能直接沿用,不需要安裝任何專屬 SDK。
- 公開端點與私有端點的呼叫方式一致:兩者都遵循同樣的 API 慣例,差別只在 Base URL 與模型名稱。
取得連線資訊
公開端點:在 Hub > 模型中心 點擊模型卡片,選擇 API 端點(API Endpoint),面板提供 Python / JavaScript / cURL 程式碼範例與 API 路徑。
私有端點:在 Gen AI Studio > 我的端點(My Endpoints) 點選端點,詳細資訊(Details)中的私有 API 資訊(Private API Information)包含 Base URL、模型名稱、端點類型與 API 路徑;點擊 顯示程式碼(Show Code) 可取得完整範例。
呼叫範例
以聊天模型為例(請以主控台面板顯示的 Base URL 與模型名稱為準):
from openai import OpenAI
client = OpenAI(
base_url="<主控台顯示的 API 路徑>",
api_key="your-api-key-here", # 替換成您的 API 金鑰
)
response = client.chat.completions.create(
model="<主控台顯示的模型名稱>",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "什麼是 GPU?"},
],
temperature=0.7,
)
print(response.choices[0].message.content)
curl <主控台顯示的 API 路徑> \
-H "Content-Type: application/json" \
-H "Authorization: Bearer your-api-key-here" \
-d '{
"model": "<主控台顯示的模型名稱>",
"messages": [{"role": "user", "content": "什麼是 GPU?"}]
}'
提示
在遊樂場調整過的參數(如 Temperature)會同步反映在「檢視程式碼(View code)」產生的範例中,調到滿意再複製,最省事。