核心概念与术语
模型推理相关
公开端点(Public Endpoint) 平台上架模型的共享推理端点,按 Token 用量计费,并有速率限制(Rate Limit)。无需部署任何资源即可使用。
私有端点(Private Endpoint) 专属于您的模型推理端点,按部署所用的 GPU 或 CPU 资源使用时长计费。支持副本数管理与自动扩缩容。
Playground 交互式模型测试环境。在确定采用某个模型 API 前,可在此实时试用、调整参数,并直接获取对应的代码示例。
在 Playground 试用模型同样会计费。
API 密钥(API Key) 调用模型 API 时验证身份的凭证,可设置预算限额(Budget Limit),达到上限后 API 请求将被拒绝。
算力容器相关
Pod 您租用的 GPU 容器运行单位。部署时选择资源规格与镜像,可挂载存储空间,提供 Web Terminal、资源监控、日志与事件记录。
镜像(Image)/ 镜像模板(Image Template) Pod 启动时使用的容器镜像。可选用管理员上架的官方模板,或使用来自 Docker Hub、GitHub Container Registry、NGC、GCP Artifact、AWS ECR 的自定义镜像。
凭证密钥(Credential Key) 拉取第三方镜像仓库私有镜像时所需的登录凭证。
Volume(存储卷) 持久化存储空间,可挂载至 Pod。启用后即开始计费(容量大小 × 使用时长),创建后只能扩容、无法缩容。
密钥(Secret) 以键值对形式保存的敏感数据,可在创建 Pod 时作为环境变量挂载使用,列表中不会显示内容。
账务相关
额度(Credit) 平台的预付余额。使用各项资源前需先充值,所有消费从额度中扣除,可随时在页面右上角查看余额。
命名规则
平台上多数资源(Pod、Volume、端点、密钥、凭证)的名称须符合 Kubernetes 命名规则:只能由小写字母、数字及符号 - 组成,开头须为字母,结尾须为字母或数字。