跳到主要内容

部署私有 LLM 端点并启用自动扩缩容

目标:把模型部署成专属端点,并设置自动扩缩容让服务随负载增减副本,低峰时缩容至零以节省费用。

费用:按部署所选资源规格的使用时长计费。部署面板会显示预估费用;启用 Scale-to-Zero 后,无流量期间副本数降为 0。

前置条件​

  • 已注册账号且有可用额度
  • 已创建 API 密钥

步骤 1:部署端点​

  1. 进入 Hub > 模型中心,点击要部署的模型,选择 私有端点。
  2. 填写端点名称(小写字母、数字、-;此名称同时是 API 调用的模型名称)。
  3. 选择资源规格,查看左下角预估费用,点击 保存(Save)。
  4. 在 我的端点(My Endpoints) 等待状态从等待中变为 运行中。

步骤 2:启用自动扩缩容​

  1. 点击端点进入详细信息,在自动扩缩容(Auto Scaling)区块点击 启用(Enable)。
  2. 副本限制:最小副本数填 0(启用 Scale-to-Zero)、最大副本数按预期峰值流量设置。
  3. 扩缩容配置:设置 GPU 使用率阈值;缩容冷却时间(默认 600 秒)与轮询间隔(默认 15 秒)先用默认值即可。
  4. 点击 保存(Save)。
提示

正式服务对冷启动延迟敏感的话,最小副本数建议设 1 而非 0——Scale-to-Zero 省钱,但第一个请求需等待副本启动。

步骤 3:调用端点​

在端点详细信息的私有 API 信息区块点击 显示代码(Show Code),获取 Base URL、模型名称与示例,替换 API 密钥后即可调用,方式与公开端点一致(OpenAI 兼容)。

步骤 4:验证扩缩容行为​

  1. 对端点发送持续请求,在 监控(Monitoring) 选项卡观察 GPU 使用率上升。
  2. 在详细信息的副本状态区块观察就绪/期望副本数变化。
  3. 停止请求后,等待缩容冷却时间,确认副本数逐步下降。

清理资源​

测试完成后,若不再使用,请在我的端点列表删除端点,停止计费。

下一步​