프라이빗 엔드포인트(My Endpoints)

프라이빗 엔드포인트는 모델을 사용자 전용 추론 서비스로 배포하며, 배포에 사용된 GPU/CPU 리소스의 사용 시간에 따라 과금됩니다. 지연 시간, 처리량 또는 데이터 격리에 대한 요구 사항이 있는 프로덕션 애플리케이션에 적합합니다.

프라이빗 엔드포인트 배포

Hub > Models Hub에서 배포할 모델을 클릭하고 프라이빗 엔드포인트를 선택하여 배포 패널을 엽니다.
설정을 입력합니다.
- Endpoint Name(엔드포인트 이름): 소문자, 숫자, -만 사용 가능하며, 첫 글자는 문자로 시작하고 마지막 글자는 문자 또는 숫자로 끝나야 합니다. 이 이름은 API 호출 시 사용하는 모델 이름이기도 합니다.
- Description(설명)(선택 사항)
- Resource Specification(리소스 사양): 사용할 컴퓨팅 리소스 선택
패널 왼쪽 하단의 예상 비용(Est. Cost)을 확인한 후 Save를 클릭합니다.
시스템이 My Endpoints 페이지로 이동합니다. 상태가 대기 중에서 실행 중으로 변경되면 배포가 완료된 것입니다.

My Endpoints 목록에는 각 엔드포인트의 이름, 상태, 레플리카 수(준비/예상), 실행 시간, 사용 시간, 생성 시간이 표시됩니다. 엔드포인트를 선택하면 네 개의 탭에서 자세한 정보를 확인할 수 있습니다.

프라이빗 API 정보: Base URL, 모델 이름, 엔드포인트 유형, API 경로. Show Code를 클릭하면 호출 예제를 확인할 수 있습니다(API 키를 교체하는 것을 잊지 마십시오).
사양 구성: 모델 이름, 유형, CPU, GPU 및 메모리 크기.
레플리카 상태: 엔드포인트 상태, 준비/기대 레플리카 수, 사용 가능 및 사용 불가 레플리카 수.
Auto Scaling(자동 확장/축소): 아래 자동 확장/축소 섹션을 참조하십시오.
리소스 비용: 시간당/월간 예상 비용과 사용 기간 누적 비용.

GPU 코어 사용률, GPU 메모리 사용률, CPU 사용률, 메모리 사용률, 네트워크 I/O를 실시간으로 모니터링합니다. 최근 30분, 1시간, 1일, 7일, 30일 또는 지정한 구간(최대 30일)을 조회할 수 있습니다.

엔드포인트의 접근 기록과 추론 과정 출력으로, 디버깅과 성능 분석에 활용할 수 있으며 복사하거나 다운로드할 수 있습니다.

엔드포인트의 활성화 및 외부 접근 과정에서 발생한 상태 변화와 오류 이벤트를 기록하며, 다운로드하여 보관할 수 있습니다.

프라이빗 엔드포인트는 GPU 사용률에 따라 레플리카 수를 자동으로 늘리거나 줄이는 기능을 지원하며, Scale-to-Zero(0까지 축소)도 포함됩니다. 트래픽이 몰릴 때 서비스가 자동으로 확장되고, 트래픽이 적을 때 리소스를 해제하여 비용을 절감할 수 있습니다.

엔드포인트의 Details에서 Auto Scaling 영역의 Enable을 클릭하여 설정 패널을 엽니다.
Replica Limits(레플리카 제한): 최소 및 최대 레플리카 수를 입력합니다. 최소 레플리카 수를 0으로 설정하면 Scale-to-Zero가 활성화됩니다.
Scaling Configuration(확장/축소 구성): GPU 사용률 임계값을 설정하고, 필요에 따라 스케일 다운 쿨다운 시간(기본값 600초)과 폴링 간격(기본값 15초)을 조정합니다.
확인 후 Save를 클릭하면 설정 값이 Auto Scaling 영역에 표시됩니다.

이후 영역 오른쪽 상단 아이콘의 Edit을 클릭하여 다시 조정하거나 Delete로 이 기능을 비활성화할 수 있습니다.

팁

콜드 스타트 지연에 민감한 프로덕션 서비스라면 최소 레플리카 수를 0이 아닌 1로 설정하는 것이 좋습니다. Scale-to-Zero는 비용을 절감하지만, 첫 번째 요청은 레플리카가 시작될 때까지 기다려야 합니다.

수요 증가 시 레플리카를 추가하는 속도를 미세 조정합니다.

Stabilization Window(안정화 윈도우): 스케일 업을 실행하기 전 대기 시간(기본값 0초)
Max Percent per Step(단계당 최대 백분율): 한 번의 스케일 업에서 추가할 수 있는 최대 Pod 백분율(기본값 100%)
Percent Policy Period(백분율 정책 주기): 백분율 기준 스케일 업 정책의 평가 주기(기본값 15초)
Max Pods per Step(단계당 최대 Pod 수): 한 번의 스케일 업에서 추가할 수 있는 최대 Pod 수(기본값 4개)
Pods Policy Period(Pod 정책 주기): Pod 수 기준 스케일 업 정책의 평가 주기(기본값 15초)

노트

스케일 업은 최대화 전략을 사용합니다. 시스템이 "백분율"과 "Pod 수" 두 가지 확장 결과를 동시에 계산하여 레플리카를 더 많이 추가하는 쪽을 실행함으로써, 부하 수요에 빠르게 대응합니다.

수요 감소 시 레플리카를 제거하는 속도를 미세 조정합니다.