私有端點(My Endpoints)
私有端點把模型部署成專屬於您的推論服務,按部署所用的 GPU/CPU 資源使用時數計費,適合對延遲、吞吐量或資料隔離有要求的正式應用。
部署私有端點
- 在 Hub > 模型中心 點擊欲部署的模型,選擇 私有端點,開啟部署面板。
- 填寫設定:
- 端點名稱(Endpoint Name):僅能以小寫字母、數字及
-組成,開頭須為字母、結尾須為字母或數字。此名稱同時是 API 呼叫時使用的模型名稱。 - 描述(Description)(選填)
- 資源規格(Resource Specification):選擇欲使用的運算資源
- 端點名稱(Endpoint Name):僅能以小寫字母、數字及
- 檢視面板左下角的預估費用(Est. Cost),確認後點擊 儲存(Save)。
- 系統跳轉到 我的端點(My Endpoints) 頁面,待狀態從 等待中 變為 執行中 即完成部署。
檢視端點
我的端點列表顯示每個端點的名稱、狀態、副本數(就緒/預期)、運行時間、使用時長與建立時間。點選端點可進一步查看四個頁籤:
詳細資訊(Details)
- 私有 API 資訊:Base URL、模型名稱、端點類型、API 路徑。點擊 顯示程式碼(Show Code) 取得呼叫範例(記得替換 API 金鑰)。
- 規格配置:模型名稱、類型、CPU、GPU 與記憶體大小。
- 副本狀態:端點健康狀況、就緒/期望副本數、可用與不可用副本數。
- 自動擴縮(Auto Scaling):詳見下方自動擴縮章節。
- 資源費用:每小時/每月預估費用與使用期間累計費用。
監控(Monitoring)
即時監控 GPU 核心使用率、GPU 記憶體使用率、CPU 使用率、記憶體使用率與網路 I/O。可查詢過去 30 分鐘、1 小時、1 日、7 日、30 日,或指定區間(最多 30 日)。
日誌(Logs)
端點的存取紀錄與推論過程輸出,用於除錯與效能分析,可複製或下載。
事件(Events)
記錄端點在啟用與對外存取過程中的狀態變化與錯誤事件,可下載留存。
自動擴縮(Auto Scaling)
私有端點支援依 GPU 使用率自動增減副本數,含縮減至零(Scale-to-Zero),讓服務在流量尖峰時自動擴展、離峰時釋放資源節省費用。
啟用自動擴縮
- 在端點的 詳細資訊(Details) 中,於自動擴縮(Auto Scaling)區塊點擊 啟用(Enable),開啟設定面板。
- 副本限制(Replica Limits):填入最小及最大副本數。最小副本數設為 0 時,啟用縮減至零(Scale-to-Zero)。
- 擴縮配置(Scaling Configuration):設定 GPU 使用率閾值,並視需求調整縮減冷卻時間(預設 600 秒)與輪詢間隔(預設 15 秒)。
- 確認後點擊 儲存(Save),設定值隨即顯示在自動擴縮區塊。
之後可點擊區塊右上角圖示 編輯(Edit) 重新調整,或 刪除(Delete) 停用此功能。
提示
正式服務對冷啟動延遲敏感的話,最小副本數建議設 1 而非 0——Scale-to-Zero 省錢,但第一個請求需等待副本啟動。
進階:擴展策略(Scale Up Policy,選填)
微調需求增加時新增副本的速度:
- 穩定視窗(Stabilization Window):執行擴展前的等待時間(預設 0 秒)
- 每次最大百分比(Max Percent per Step):單次擴展最多新增的 Pod 百分比(預設 100%)
- 百分比策略週期(Percent Policy Period):以百分比為擴展策略的評估週期(預設 15 秒)
- 每次最大 Pod 數(Max Pods per Step):單次擴展最多新增的 Pod 數量(預設 4 個)
- Pod 策略週期(Pods Policy Period):以 Pod 數量為擴展策略的評估週期(預設 15 秒)
備註
擴展採最大化策略:系統會同時計算「百分比」與「Pod 數量」兩種擴展結果,取增加較多副本的那一個執行,確保快速回應負載需求。
進階:縮減策略(Scale Down Policy,選填)
微調需求減少時移除副本的速度:
- 穩定視窗(Stabilization Window):執行縮減前的等待時間(預設 60 秒)
- 每次最大百分比(Max Percent per Step):單次縮減最多降低的 Pod 百分比(預設 50%)
- 百分比策略週期(Percent Policy Period):以百分比為縮減策略的評估週期(預設 60 秒)
相關教學:部署私有 LLM 端點並啟用自動擴縮