Azure OpenAI ServiceのPTUスピルオーバー時にIsSpillover=TrueがStandardデプロイ側に表示される挙動について

Azure OpenAI Service の PTU spillover に関する Azure Monitor メトリックの見方について確認したいです。

弊社では、GPT-4o の PTU deployment を主系として利用し、PTU の処理能力を超えた場合に Standard deployment へ spillover する構成を利用しています。

Azure Monitor の Azure OpenAI Requests を IsSpillover / ModelDeploymentName / StatusCode で分割して確認したところ、PTU deployment 側ではなく、Standard deployment 側で IsSpillover = True となっているリクエストが観測されました。

例：

• False, je-gpt-4o-2024-11-20-ptu, 200
• False, gpt-4o-2024-11-20, 200
• True, gpt-4o-2024-11-20, 200

このうち、True, gpt-4o-2024-11-20, 200 は、以下の理解で正しいでしょうか。

「PTU deployment 側では処理しきれなかったリクエストが spillover により Standard deployment 側へ流れ、Standard deployment 側で正常に 200 応答した」

つまり、IsSpillover = True は PTU deployment 側ではなく、spillover 先である Standard deployment 側に表示される、という理解で合っていますでしょうか。

あわせて、以下の違いについても確認したいです。

• False, Standard deployment, 200
  • spillover 経由ではなく、直接 Standard deployment に送られたリクエスト
• True, Standard deployment, 200
  • PTU deployment から spillover して、Standard deployment で処理されたリクエスト

上記の理解が誤っている場合は、Azure Monitor の Azure OpenAI Requests における IsSpillover / ModelDeploymentName / StatusCode の正しい読み方をご教示ください。

また、必要であれば、公開可能な範囲でこのダッシュボードの設定内容も共有可能です。