メインコンテンツまでスキップ

プライベート LLM エンドポイントをデプロイしてオートスケーリングを有効にする

目標:モデルを専用エンドポイントとしてデプロイし、オートスケーリングを設定して負荷に応じてレプリカを増減させます。オフピーク時にはゼロまでスケールダウンして費用を節約します。

費用:デプロイ時に選択したリソース仕様の使用時間に基づいて課金されます。デプロイパネルに推定費用が表示されます。Scale-to-Zero を有効にすると、トラフィックがない期間はレプリカ数が 0 になります。

前提条件​

  • アカウント登録済みで、利用可能なクレジットがあること
  • API キーを作成済みであること

ステップ 1:エンドポイントをデプロイする​

  1. Hub > Models Hub(モデルハブ) に移動し、デプロイしたいモデルをクリックして プライベートエンドポイント を選択します。
  2. エンドポイント名を入力します(小文字の英字、数字、-。この名前は API 呼び出し時のモデル名にもなります)。
  3. リソース仕様を選択し、左下の推定費用を確認して Save をクリックします。
  4. My Endpoints でステータスが待機中から 実行中 に変わるのを待ちます。

ステップ 2:オートスケーリングを有効にする​

  1. エンドポイントを選択して詳細情報に移動し、Auto Scaling(オートスケーリング)セクションの Enable をクリックします。
  2. レプリカ制限:最小レプリカ数に 0 を入力し(Scale-to-Zero を有効化)、最大レプリカ数は想定ピークトラフィックに合わせて設定します。
  3. スケーリング設定:GPU 使用率のしきい値を設定します。スケールダウンのクールダウン時間(デフォルト 600 秒)とポーリング間隔(デフォルト 15 秒)は、まずデフォルト値のままで問題ありません。
  4. Save をクリックします。
ヒント

本番サービスがコールドスタートのレイテンシに敏感な場合は、最小レプリカ数を 0 ではなく 1 に設定することをおすすめします。Scale-to-Zero は費用を節約できますが、最初のリクエストはレプリカの起動を待つ必要があります。

ステップ 3:エンドポイントを呼び出す​

エンドポイント詳細情報のプライベート API 情報セクションで Show Code をクリックし、Base URL、モデル名、サンプルを取得します。API キーを置き換えれば呼び出せます。呼び出し方法は公開エンドポイントと同一です(OpenAI 互換)。

ステップ 4:スケーリング動作を検証する​

  1. エンドポイントに継続的にリクエストを送信し、Monitoring タブで GPU 使用率の上昇を観察します。
  2. 詳細情報のレプリカステータスセクションで、準備完了/期待レプリカ数の変化を観察します。
  3. リクエストを停止した後、スケールダウンのクールダウン時間が経過すると、レプリカ数が段階的に減少することを確認します。

リソースのクリーンアップ​

テストが完了して使用しない場合は、My Endpoints の一覧からエンドポイントを削除して課金を停止してください。

次のステップ​