私有端点(My Endpoints)
私有端点把模型部署成专属于您的推理服务,按部署所用的 GPU/CPU 资源使用时长计费,适合对延迟、吞吐量或数据隔离有要求的正式应用。
部署私有端点
- 在 Hub > 模型中心 点击要部署的模型,选择 私有端点,打开部署面板。
- 填写设置:
- 端点名称(Endpoint Name):只能由小写字母、数字及
-组成,开头须为字母、结尾须为字母或数字。此名称同时是 API 调用时使用的模型名称。 - 描述(Description)(选填)
- 资源规格(Resource Specification):选择要使用的计算资源
- 端点名称(Endpoint Name):只能由小写字母、数字及
- 查看面板左下角的预估费用(Est. Cost),确认后点击 保存(Save)。
- 系统跳转到 我的端点(My Endpoints) 页面,待状态从 等待中 变为 运行中 即完成部署。
查看端点
我的端点列表显示每个端点的名称、状态、副本数(就绪/预期)、运行时间、使用时长与创建时间。点击端点可进一步查看四个选项卡:
详细信息(Details)
- 私有 API 信息:Base URL、模型名称、端点类型、API 路径。点击 显示代码(Show Code) 获取调用示例(记得替换 API 密钥)。
- 规格配置:模型名称、类型、CPU、GPU 与内存大小。
- 副本状态:端点健康状况、就绪/期望副本数、可用与不可用副本数。
- 自动扩缩容(Auto Scaling):详见下方自动扩缩容章节。
- 资源费用:每小时/每月预估费用与使用期间累计费用。
监控(Monitoring)
实时监控 GPU 核心使用率、GPU 显存使用率、CPU 使用率、内存使用率与网络 I/O。可查询过去 30 分钟、1 小时、1 天、7 天、30 天,或指定区间(最多 30 天)。
日志(Logs)
端点的访问记录与推理过程输出,用于调试与性能分析,可复制或下载。
事件(Events)
记录端点在启用与对外访问过程中的状态变化与错误事件,可下载留存。
自动扩缩容(Auto Scaling)
私有端点支持按 GPU 使用率自动增减副本数,含缩容至零(Scale-to-Zero),让服务在流量高峰时自动扩容、低峰时释放资源节省费用。
启用自动扩缩容
- 在端点的 详细信息(Details) 中,在自动扩缩容(Auto Scaling)区块点击 启用(Enable),打开设置面板。
- 副本限制(Replica Limits):填写最小及最大副本数。最小副本数设为 0 时,启用缩容至零(Scale-to-Zero)。
- 扩缩容配置(Scaling Configuration):设置 GPU 使用率阈值,并按需调整缩容冷却时间(默认 600 秒)与轮询间隔(默认 15 秒)。
- 确认后点击 保存(Save),设置值随即显示在自动扩缩容区块。
之后可点击区块右上角图标 编辑(Edit) 重新调整,或 删除(Delete) 停用此功能。
提示
正式服务对冷启动延迟敏感的话,最小副本数建议设 1 而非 0——Scale-to-Zero 省钱,但第一个请求需等待副本启动。
高级:扩容策略(Scale Up Policy,选填)
微调需求增加时新增副本的速度:
- 稳定窗口(Stabilization Window):执行扩容前的等待时间(默认 0 秒)
- 每次最大百分比(Max Percent per Step):单次扩容最多新增的 Pod 百分比(默认 100%)
- 百分比策略周期(Percent Policy Period):以百分比为扩容策略的评估周期(默认 15 秒)
- 每次最大 Pod 数(Max Pods per Step):单次扩容最多新增的 Pod 数量(默认 4 个)
- Pod 策略周期(Pods Policy Period):以 Pod 数量为扩容策略的评估周期(默认 15 秒)
备注
扩容采用最大化策略:系统会同时计算「百分比」与「Pod 数量」两种扩容结果,取增加较多副本的那一个执行,确保快速响应负载需求。
高级:缩容策略(Scale Down Policy,选填)
微调需求减少时移除副本的速度:
- 稳定窗口(Stabilization Window):执行缩容前的等待时间(默认 60 秒)
- 每次最大百分比(Max Percent per Step):单次缩容最多降低的 Pod 百分比(默认 50%)
- 百分比策略周期(Percent Policy Period):以百分比为缩容策略的评估周期(默认 60 秒)
相关教程:部署私有 LLM 端点并启用自动扩缩容