API Management ServiceでBackground modeで実行されたResponses APIの利用量を記録する方法

こんにちは @Anonymous

マイクロソフトQ&Aプラットフォームへようこそ!ここで質問してくださりありがとうございます。

ぜひ下の内容を試してみて、あなたの発見を共有してください。

1. トークン発行メトリクスポリシー: Emit Token Metric Azure API Management内でこのポリシーを利用して、Azure OpenAIサービス専用のトークン消費を追跡できます。このポリシーにより、総トークン(プロンプトトークンや完了トークンを含む)に関連する指標をアプリケーションインサイトにカスタムメトリクスとして送信できます。これは監視やチャージバックの目的で有益です。
   • 実装方法: Emit Token Metric API管理サービスでポリシーを設定し、処理される各リクエストごとに自動的にトークンメトリックを記録できます。

           <policies>
             <inbound>
               <azure-openai-emit-token-metric namespace="AzureOpenAI">
                 <dimension name="API ID" />
               </azure-openai-emit-token-metric>
             </inbound>
           </policies>
     

2. Event Hubsによるカスタムログ:より詳細なログ作成を求めるなら、API Managementを設定してAzure Event Hubsにログを送信できます。これにより、バックグラウンドモードが使用されている場合を含む、リクエストおよびレスポンスの詳細全体を記録できます。
   • 実装方法:ポリシーを使って log-to-eventhub イベントハブにリクエストやレスポンスの詳細を送信できます。そこから、トークン数やその他の指標を監視するための集約ソリューションを実装できます。
   • ドキュメント:イベントハブへのイベントログの方法の詳細については、log-to-eventhubポリシードキュメントを参照してください。
3. Application Insightsによるモニタリング:すでにApplication Insightsを使用しているため、記録されるテレメトリデータをカスタマイズできます。APIレスポンスにカスタムイベントや指標を埋め込むことで、追加データを追跡できます。
   • 実装方法:Application Insights SDKを使用して、API呼び出し時に記録された必要なトークンメトリクスと応答数を反映したカスタムイベントを送信します。
   • ドキュメント:API管理とApplication Insightsの統合方法は こちらをご覧ください。

こんにちは @SS

前回の回答をご覧いただき、お役に立てたかどうか確認させていただきたくご連絡いたしました。引き続き問題が発生されており、さらにサポートが必要な場合は、お知らせください。

@Rakesh Mishra
アドバイスありがとうございます。

まず1に関しては、Log Anylytics (Azure Monitor)のLLM Gatewayの機能と同様に、うまく動作しませんでした。

ポリシーを設定し、API management service上のAPI>TestからTraceを発行して動作を確認したところ、 azure-openai-emit-token-metricが発動しているにも関わらず、Application Insightsのログを確認してもカスタムメトリクスのレコードがありませんでした。 通常のAPI Callと異なり、Background modeでPOSTした際の応答には Usageの項目が無いため、記録ができないものと考えられます。

また3で後述しますが、この方法は捕捉率に課題があり採用が難しいです。

2は現状Event Hubsリソースがないため直ぐには確認できませんでしたが、具体的にAPI management serviceのポリシーはどのように書くのでしょうか？
1でも述べたように、POSTした際の応答にはUsageの項目がありません。なので、送るべき統計値がなく、ナイーブには log-to-eventhub で対応することができません。具体的に述べると、次のような応答が返されます。

{
    "id": "...",
    "object": "response",
    "created_at": 1765518163,
    "status": "queued",
    "background": true,
    "content_filters": null,
    "error": null,
    "incomplete_details": null,
    "instructions": null,
    "max_output_tokens": null,
    "max_tool_calls": null,
    "model": "gpt-5.2-2025-12-11",
    "output": [],
    "parallel_tool_calls": true,
    "previous_response_id": null,
    "prompt_cache_key": null,
    "prompt_cache_retention": null,
    "reasoning": {
        "effort": "none",
        "summary": null
    },
    "safety_identifier": null,
    "service_tier": "auto",
    "store": true,
    "temperature": 1.0,
    "text": {
        "format": {
            "type": "text"
        },
        "verbosity": "medium"
    },
    "tool_choice": "auto",
    "tools": [],
    "top_logprobs": 0,
    "top_p": 0.98,
    "truncation": "disabled",
    "usage": null,
    "user": null,
    "metadata": {}
}

例えば、API management serviceのポリシー上で次のようなアルゴリズムを使うことは一つの手段です。

1. 先に POST /responses の応答をユーザーに返す、これによってユーザーからは見かけ上リクエストが完了したように見える
2. 遅延処理を開始し、この間に GET /responses/${RESPONSE_ID}を成功するまでpooliingし、Usageを取得する
3. 取得したUsageを log-to-eventhubで発行する

ただこのような実装は可能なのでしょうか？API management serviceのポリシーで、このような非同期的な処理を書く機能は無い認識でした。ご教授いただけると大変助かります。

3はやはり2と同様に、POSTした際の応答にUsageが無い問題があります。

これに加えて、Application insightsは捕捉率が100%に出来ないという問題があります。このため、利用量が増えてくると欠損するレコードの割合が増加するため、スケーリングに難があり利用が難しいです。

2についての遅延処理のポリシーの記述方法に加えて、他の方法がありましたらご共有いただけると誠に助かります。

こんにちは @Anonymous 。ぜひ下の内容を試してみて、あなたの発見を共有していただけませんか?

API管理でLLM診断ログを有効にする(推奨かつ正確): Azure API ManagementはLog AnalyticsやApplication InsightsへのLLMゲートウェイ診断を発行できます。これらのログには以下が含まれています:

• プロンプトトークン
• 完了トークン
• トークン総数
• モデル名
• リクエストおよびレスポンスメッセージアレイ

ステップ:

1. API管理のインスタンスに移動してください
2. モニタリング→診断設定を開く
3. クリック + 診断設定を追加
4. 生成AIゲートウェイログ**を有効にする **
5. ログをLog Analytics workspaceやApplication Insights**に送信してください **

@rakesh mishra
アドバイスありがとうございます。

そちらの方法はスレッドの先頭で書きました通り、既に利用している方法です。この方法でBackground mode(backend=Trueであるような遅延処理)によるトークン数が記録されないことがこのスレッドの作成理由です。

Azure OpenAI Service (Microsoft Foundry)をAPI management serviceの後段に配置して利用しています。このとき、API management serviceに対してLog Analytics + Application insightsを設定して、LLM Gatewayの機能によってログを自動でLog Analytics Workspaceに記録されるようにしています。トークン数のカウントも出来ますし、ResponseMessagesを読むことでToolの実行回数のカウントも可能となるため、チャージバック等に活かすことができます。