プライベートエンドポイント(My Endpoints)

プライベートエンドポイントは、モデルをお客様専用の推論サービスとしてデプロイする機能です。デプロイに使用する GPU/CPU リソースの使用時間に基づいて課金され、レイテンシ、スループット、データ分離に要件がある本番アプリケーションに適しています。

プライベートエンドポイントをデプロイする

Hub > Models Hub(モデルハブ) でデプロイしたいモデルをクリックし、プライベートエンドポイント を選択してデプロイパネルを開きます。
設定を入力します:
- Endpoint Name(エンドポイント名):使用できるのは小文字の英字、数字、- のみで、先頭は英字、末尾は英字または数字でなければなりません。この名前は API 呼び出し時に使用するモデル名にもなります。
- Description(説明)(任意)
- Resource Specification(リソース仕様):使用するコンピューティングリソースを選択します
パネル左下の推定費用(Est. Cost)を確認し、問題なければ Save をクリックします。
My Endpoints ページに遷移し、ステータスが 待機中 から 実行中 に変わればデプロイは完了です。

My Endpoints の一覧には、各エンドポイントの名前、ステータス、レプリカ数(準備完了/期待値)、稼働時間、使用時間、作成日時が表示されます。エンドポイントを選択すると、4 つのタブで詳細を確認できます:

プライベート API 情報:Base URL、モデル名、エンドポイントタイプ、API パス。Show Code をクリックすると呼び出しサンプルを取得できます(API キーの置き換えを忘れずに)。
仕様構成:モデル名、タイプ、CPU、GPU、メモリサイズ。
レプリカステータス:エンドポイントの健全性、準備完了/期待レプリカ数、利用可能・利用不可レプリカ数。
Auto Scaling(オートスケーリング):下記のオートスケーリングセクションを参照してください。
リソース費用:1 時間あたり/1 か月あたりの推定費用と、使用期間の累計費用。

GPU コア使用率、GPU メモリ使用率、CPU 使用率、メモリ使用率、ネットワーク I/O をリアルタイムで監視できます。過去 30 分、1 時間、1 日、7 日、30 日、または指定期間(最大 30 日)で照会できます。

エンドポイントのアクセス記録と推論プロセスの出力です。デバッグやパフォーマンス分析に利用でき、コピーまたはダウンロードできます。

エンドポイントの起動および外部アクセスの過程で発生したステータス変化とエラーイベントを記録します。ダウンロードして保存できます。

プライベートエンドポイントは、GPU 使用率に応じたレプリカ数の自動増減に対応しています。Scale-to-Zero(ゼロへのスケールダウン)も可能で、トラフィックのピーク時には自動でスケールアップし、オフピーク時にはリソースを解放して費用を節約できます。

エンドポイントの Details で、Auto Scaling(オートスケーリング)セクションの Enable をクリックして設定パネルを開きます。
Replica Limits(レプリカ制限):最小および最大レプリカ数を入力します。最小レプリカ数を 0 に設定すると、Scale-to-Zero が有効になります。
Scaling Configuration(スケーリング設定):GPU 使用率のしきい値を設定し、必要に応じてスケールダウンのクールダウン時間(デフォルト 600 秒)とポーリング間隔(デフォルト 15 秒)を調整します。
確認したら Save をクリックします。設定値がオートスケーリングセクションに表示されます。

その後は、セクション右上のアイコンから Edit で再調整、または Delete でこの機能を無効化できます。

ヒント

本番サービスがコールドスタートのレイテンシに敏感な場合は、最小レプリカ数を 0 ではなく 1 に設定することをおすすめします。Scale-to-Zero は費用を節約できますが、最初のリクエストはレプリカの起動を待つ必要があります。

需要増加時にレプリカを追加する速度を微調整します:

Stabilization Window(安定化ウィンドウ):スケールアップ実行前の待機時間(デフォルト 0 秒)
Max Percent per Step(ステップあたり最大パーセント):1 回のスケールアップで追加できる Pod の最大割合(デフォルト 100%)
Percent Policy Period(パーセントポリシー期間):割合ベースのスケールアップポリシーの評価期間(デフォルト 15 秒)
Max Pods per Step(ステップあたり最大 Pod 数):1 回のスケールアップで追加できる Pod の最大数(デフォルト 4 個)
Pods Policy Period(Pod ポリシー期間):Pod 数ベースのスケールアップポリシーの評価期間(デフォルト 15 秒)

注記

スケールアップには最大化戦略が採用されます。システムは「パーセント」と「Pod 数」の 2 つのスケールアップ結果を同時に計算し、追加されるレプリカ数が多い方を実行することで、負荷への迅速な対応を保証します。

需要減少時にレプリカを削除する速度を微調整します: