基本概念と用語
モデル推論関連
Public Endpoint(公開エンドポイント) プラットフォームに公開されているモデルの共用推論エンドポイントです。トークン使用量に基づいて課金され、Rate Limit(レート制限)があります。リソースをデプロイせずに利用できます。
Private Endpoint(プライベートエンドポイント) お客様専用のモデル推論エンドポイントです。デプロイに使用する GPU または CPU リソースの使用時間に基づいて課金されます。レプリカ数の管理とオートスケーリングに対応しています。
Playground(プレイグラウンド) インタラクティブなモデルテスト環境です。モデル API の採用を決める前に、その場で試用してパラメータを調整し、対応するコードサンプルを直接取得できます。
Playground でのモデル試用にも課金が発生します。
API Key(API キー) モデル API の呼び出し時に本人確認を行うための認証情報です。Budget Limit(予算上限)を設定でき、上限に達すると API リクエストは拒否されます。
コンピューティングコンテナ関連
Pod レンタルする GPU コンテナの実行単位です。デプロイ時にリソース仕様とイメージを選択し、ストレージをマウントできます。Web Terminal、リソースモニタリング、ログ、イベント記録を利用できます。
Image(イメージ)/ Image Template(イメージテンプレート) Pod の起動時に使用するコンテナイメージです。管理者が公開している公式テンプレートのほか、Docker Hub、GitHub Container Registry、NGC、GCP Artifact、AWS ECR のカスタムイメージも利用できます。
Credential Key(クレデンシャルキー) サードパーティのコンテナレジストリからプライベートイメージをプルする際に必要なログイン認証情報です。
Volume(ボリューム) Pod にマウントできる永続ストレージです。有効化した時点から課金が始まり(容量 × 使用時間)、作成後は拡張のみ可能で縮小はできません。
Secret(シークレット) キーと値のペアとして保存される機密データです。Pod の作成時に環境変数としてマウントでき、一覧には内容が表示されません。
課金関連
Credit(クレジット) プラットフォームのプリペイド残高です。各リソースの利用前にチャージが必要で、すべての消費はクレジットから差し引かれます。残高はページ右上でいつでも確認できます。
命名規則
プラットフォーム上のほとんどのリソース(Pod、ボリューム、エンドポイント、シークレット、クレデンシャル)の名前は Kubernetes の命名規則に従う必要があります。使用できるのは小文字の英字、数字、記号 - のみで、先頭は英字、末尾は英字または数字でなければなりません。