핵심 개념 및 용어
모델 추론 관련
Public Endpoint(공개 엔드포인트) 플랫폼에 등록된 모델의 공용 추론 엔드포인트입니다. 토큰 사용량에 따라 과금되며 속도 제한(Rate Limit)이 적용됩니다. 별도의 리소스를 배포하지 않고 바로 사용할 수 있습니다.
Private Endpoint(프라이빗 엔드포인트) 사용자 전용 모델 추론 엔드포인트입니다. 배포에 사용된 GPU 또는 CPU 리소스의 사용 시간에 따라 과금됩니다. 레플리카 수 관리와 자동 확장/축소를 지원합니다.
Playground(플레이그라운드) 인터랙티브 모델 테스트 환경입니다. 특정 모델 API 도입을 결정하기 전에 실시간으로 테스트하고 파라미터를 조정하며, 해당하는 코드 예제를 바로 확인할 수 있습니다.
Playground에서 모델을 테스트하는 경우에도 동일하게 과금됩니다.
API Key(API 키) 모델 API 호출 시 신원을 인증하는 자격 증명입니다. 예산 한도(Budget Limit)를 설정할 수 있으며, 한도에 도달하면 API 요청이 거부됩니다.
컴퓨팅 컨테이너 관련
Pod 임대한 GPU 컨테이너 실행 단위입니다. 배포 시 리소스 사양과 이미지를 선택하고 스토리지를 마운트할 수 있으며, Web Terminal, 리소스 모니터링, 로그 및 이벤트 기록을 제공합니다.
Image(이미지) / Image Template(이미지 템플릿) Pod 시작 시 사용하는 컨테이너 이미지입니다. 관리자가 등록한 공식 템플릿을 선택하거나 Docker Hub, GitHub Container Registry, NGC, GCP Artifact, AWS ECR의 커스텀 이미지를 사용할 수 있습니다.
Credential Key(자격 증명 키) 서드파티 컨테이너 레지스트리에서 프라이빗 이미지를 가져올 때 필요한 로그인 자격 증명입니다.
Volume(볼륨) Pod에 마운트할 수 있는 영구 스토리지입니다. 활성화 시점부터 과금이 시작되며(용량 × 사용 시간), 생성 후에는 확장만 가능하고 축소할 수 없습니다.
Secret(시크릿) 키-값 쌍 형태로 저장되는 민감한 데이터입니다. Pod 생성 시 환경 변수로 마운트하여 사용할 수 있으며, 목록에서는 내용이 표시되지 않습니다.
결제 관련
Credit(크레딧) 플랫폼의 선불 잔액입니다. 리소스를 사용하기 전에 먼저 충전해야 하며, 모든 비용은 크레딧에서 차감됩니다. 페이지 오른쪽 상단에서 언제든지 잔액을 확인할 수 있습니다.
이름 지정 규칙
플랫폼의 대부분 리소스(Pod, 볼륨, 엔드포인트, 시크릿, 자격 증명)의 이름은 Kubernetes 이름 지정 규칙을 따라야 합니다. 소문자, 숫자 및 기호 -만 사용할 수 있으며, 첫 글자는 문자로 시작하고 마지막 글자는 문자 또는 숫자로 끝나야 합니다.