部署私有 LLM 端點並啟用自動擴縮
目標:把模型部署成專屬端點,並設定自動擴縮讓服務隨負載增減副本,離峰時縮減至零以節省費用。
費用:按部署所選資源規格的使用時數計費。部署面板會顯示預估費用;啟用 Scale-to-Zero 後,無流量期間副本數降為 0。
前置條件
- 已註冊帳號且有可用額度
- 已建立 API 金鑰
步驟 1:部署端點
- 進入 Hub > 模型中心,點擊欲部署的模型,選擇 私有端點。
- 填入端點名稱(小寫字母、數字、
-;此名稱同時是 API 呼叫的模型名稱)。 - 選擇資源規格,檢視左下角預估費用,點擊 儲存(Save)。
- 在 我的端點(My Endpoints) 等待狀態從等待中變為 執行中。
步驟 2:啟用自動擴縮
- 點選端點進入詳細資訊,在自動擴縮(Auto Scaling)區塊點擊 啟用(Enable)。
- 副本限制:最小副本數填
0(啟用 Scale-to-Zero)、最大副本數依預期尖峰流量設定。 - 擴縮配置:設定 GPU 使用率閾值;縮減冷卻時間(預設 600 秒)與輪詢間隔(預設 15 秒)先用預設值即可。
- 點擊 儲存(Save)。
提示
正式服務對冷啟動延遲敏感的話,最小副本數建議設 1 而非 0——Scale-to-Zero 省錢,但第一個請求需等待副本啟動。
步驟 3:呼叫端點
在端點詳細資訊的私有 API 資訊區塊點擊 顯示程式碼(Show Code),取得 Base URL、模型名稱與範例,替換 API 金鑰後即可呼叫,方式與公開端點一致(OpenAI 相容)。
步驟 4:驗證擴縮行為
- 對端點發送持續請求,在 監控(Monitoring) 頁籤觀察 GPU 使用率上升。
- 在詳細資訊的副本狀態區塊觀察就緒/期望副本數變化。
- 停止請求後,等待縮減冷卻時間,確認副本數逐步下降。
清理資源
測試完成後,若不再使用,請在我的端點列表刪除端點,停止計費。