核心概念與術語

模型推論相關

公開端點(Public Endpoint) 平台上架模型的共用推論端點,依 Token 用量計費,並有速率限制(Rate Limit)。不需部署任何資源即可使用。

私有端點(Private Endpoint) 專屬於您的模型推論端點,按部署所用的 GPU 或 CPU 資源使用時數計費。支援副本數管理與自動擴縮。

遊樂場(Playground) 互動式模型測試環境。在確定採用某個模型 API 前,可在此即時試用、調整參數,並直接取得對應的程式碼範例。

警告

在遊樂場試用模型同樣會計費。

API 金鑰(API Key) 呼叫模型 API 時驗證身分的憑證,可設定預算限額(Budget Limit),達到上限後 API 請求將被拒絕。

Pod 您租用的 GPU 容器執行單位。部署時選擇資源規格與鏡像,可掛載儲存空間,提供 Web Terminal、資源監控、日誌與事件紀錄。

鏡像檔(Image)/ 鏡像範本(Image Template) Pod 啟動時使用的容器鏡像。可選用管理員上架的官方範本,或使用來自 Docker Hub、GitHub Container Registry、NGC、GCP Artifact、AWS ECR 的自訂鏡像。

憑證金鑰(Credential Key) 拉取第三方鏡像倉庫私有鏡像時所需的登入憑證。

Volume(儲存卷) 持久化儲存空間,可掛載至 Pod。啟用後即開始計費(容量大小 × 使用時長),建立後僅能擴充、無法縮減。

密鑰(Secret) 以鍵值對形式保存的敏感資料,可在建立 Pod 時作為環境變數掛載使用,列表中不會顯示內容。

額度(Credit) 平台的預付餘額。使用各項資源前需先儲值,所有消費從額度中扣抵,可隨時在頁面右上角檢視餘額。

平台上多數資源(Pod、Volume、端點、密鑰、憑證)的名稱須符合 Kubernetes 命名規則:僅能以小寫字母、數字及符號 - 組成,開頭須為字母,結尾須為字母或數字。