본문으로 건너뛰기

프라이빗 LLM 엔드포인트 배포 및 자동 확장/축소 활성화

목표: 모델을 전용 엔드포인트로 배포하고, 부하에 따라 레플리카를 자동으로 늘리거나 줄이도록 자동 확장/축소를 설정합니다. 트래픽이 적을 때는 0까지 축소하여 비용을 절감합니다.

비용: 배포 시 선택한 리소스 사양의 사용 시간에 따라 과금됩니다. 배포 패널에 예상 비용이 표시됩니다. Scale-to-Zero를 활성화하면 트래픽이 없는 기간에는 레플리카 수가 0으로 줄어듭니다.

사전 준비 사항​

  • 계정 가입 완료 및 사용 가능한 크레딧 보유
  • API 키 생성 완료

1단계: 엔드포인트 배포​

  1. Hub > Models Hub로 이동하여 배포할 모델을 클릭하고 프라이빗 엔드포인트를 선택합니다.
  2. 엔드포인트 이름을 입력합니다(소문자, 숫자, - 사용. 이 이름은 API 호출 시 사용하는 모델 이름이기도 합니다).
  3. 리소스 사양을 선택하고 왼쪽 하단의 예상 비용을 확인한 후 Save를 클릭합니다.
  4. My Endpoints에서 상태가 대기 중에서 실행 중으로 변경될 때까지 기다립니다.

2단계: 자동 확장/축소 활성화​

  1. 엔드포인트를 선택하여 상세 정보로 이동한 후, Auto Scaling 영역에서 Enable을 클릭합니다.
  2. 레플리카 제한: 최소 레플리카 수에 0을 입력하고(Scale-to-Zero 활성화), 최대 레플리카 수는 예상 피크 트래픽에 따라 설정합니다.
  3. 확장/축소 구성: GPU 사용률 임계값을 설정합니다. 스케일 다운 쿨다운 시간(기본값 600초)과 폴링 간격(기본값 15초)은 우선 기본값을 사용하면 됩니다.
  4. Save를 클릭합니다.
팁

콜드 스타트 지연에 민감한 프로덕션 서비스라면 최소 레플리카 수를 0이 아닌 1로 설정하는 것이 좋습니다. Scale-to-Zero는 비용을 절감하지만, 첫 번째 요청은 레플리카가 시작될 때까지 기다려야 합니다.

3단계: 엔드포인트 호출​

엔드포인트 상세 정보의 프라이빗 API 정보 영역에서 Show Code를 클릭하여 Base URL, 모델 이름, 예제를 확인합니다. API 키를 교체하면 호출할 수 있으며, 방법은 공개 엔드포인트와 동일합니다(OpenAI 호환).

4단계: 확장/축소 동작 검증​

  1. 엔드포인트에 지속적으로 요청을 보내고 Monitoring 탭에서 GPU 사용률이 상승하는 것을 관찰합니다.
  2. 상세 정보의 레플리카 상태 영역에서 준비/기대 레플리카 수의 변화를 관찰합니다.
  3. 요청을 중지한 후 스케일 다운 쿨다운 시간이 지나면 레플리카 수가 점차 감소하는 것을 확인합니다.

리소스 정리​

테스트가 완료된 후 더 이상 사용하지 않는 경우, My Endpoints 목록에서 엔드포인트를 삭제하여 과금을 중지하십시오.

다음 단계​