기존 OpenAI 애플리케이션을 플랫폼 엔드포인트로 전환하기
목표: 애플리케이션 아키텍처를 변경하지 않고, 기존에 OpenAI API를 호출하던 프로그램을 플랫폼의 모델 엔드포인트로 전환합니다. 전체 과정에서 설정 값 두 개만 변경하면 됩니다.
프라이빗 LLM 엔드포인트 배포 및 자동 확장/축소 활성화
목표: 모델을 전용 엔드포인트로 배포하고, 부하에 따라 레플리카를 자동으로 늘리거나 줄이도록 자동 확장/축소를 설정합니다. 트래픽이 적을 때는 0까지 축소하여 비용을 절감합니다.
Pod에서 배치 작업을 실행하고 결과 가져오기
목표: GPU Pod를 임대하여 일회성 배치 작업(배치 추론, 데이터 처리 등)을 실행하고, 결과를 볼륨에 기록한 후 파일 브라우저에서 다운로드하며, 마지막으로 리소스를 정리하여 과금을 중지합니다.