On frequent hallucinations and incorrect display of source document names in agents on Azure AI Foundry

Question

On frequent hallucinations and incorrect display of source document names in agents on Azure AI Foundry

Daichi Ishikawa 210

現在、Azure AI FoundryにてAzure AI Searchをナレッジソースとしたエージェントを構築していますが、プロンプトでの制御が効かず、ハルシネーション（幻覚）や引用元の誤りが多発しています。

【環境】

ツール: Azure AI Foundry / プレイグラウンド

データソース: Azure AI Search (Blob StorageおよびSharePointからインデックス作成)

【発生している現象】

以下の事象が確認されており、システムメッセージ（手順欄）での制御が機能していないように見受けられます。

１．引用ファイル名の誤り・欠損:

回答自体（契約期間など）は正しいことがあるが、根拠資料として提示されるファイル名が正確ではありません。
システムメッセージなしの場合：存在しないファイル名を推測して提示する。
システムメッセージありの場合：ファイル名が勝手に省略される（例：「基幹システム構築に関する○○工程_システム関連業務支援契約書.pdf」が「システム関連業務支援契約書」と表示されてしまう）。

２．数値のハルシネーション:

「契約金額」を質問すると、PDFに記載されている数値とは全く異なる数値を回答します。

３．否定応答の失敗（Grounding不全）:

システムメッセージに「ナレッジに情報がない場合は回答しない」旨を記述しても、明らかにナレッジに含まれない質問に対して捏造した回答を行います。

【質問】

ファイル名を正確に（拡張子やプレフィックスを含めて）回答させるために、AI Searchの特定のフィールド（metadata_storage_nameなど）を明示的に参照させる設定やプロンプトの記述方法はありますか？
「ナレッジのみを回答の根拠とする」設定は、Foundryのどこで行うのが適切ですか？（手順欄での指示だけでは限界があるように見受けられます）

Daichi Ishikawa 210

ユーザーの画像

{
  "name": "sp-rag-chunks-index",
  "purviewEnabled": false,
  "fields": [
    {
      "name": "id",
      "type": "Edm.String",
      "searchable": true,
      "filterable": false,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": false,
      "key": true,
      "analyzer": "keyword",
      "synonymMaps": []
    },
    {
      "name": "parent_id",
      "type": "Edm.String",
      "searchable": false,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": false,
      "key": false,
      "synonymMaps": []
    },
    {
      "name": "chunk",
      "type": "Edm.String",
      "searchable": true,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": true,
      "key": false,
      "analyzer": "standard.lucene",
      "synonymMaps": []
    },
    {
      "name": "file_name",
      "type": "Edm.String",
      "searchable": true,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": true,
      "key": false,
      "analyzer": "standard.lucene",
      "synonymMaps": []
    },
    {
      "name": "text_vector",
      "type": "Collection(Edm.Single)",
      "searchable": true,
      "filterable": false,
      "retrievable": false,
      "stored": true,
      "sortable": false,
      "facetable": false,
      "key": false,
      "dimensions": 1536,
      "vectorSearchProfile": "my-vector-profile",
      "synonymMaps": []
    }
  ],
  "scoringProfiles": [],
  "suggesters": [],
  "analyzers": [],
  "normalizers": [],
  "tokenizers": [],
  "tokenFilters": [],
  "charFilters": [],
  "similarity": {
    "@odata.type": "#Microsoft.Azure.Search.BM25Similarity"
  },
  "vectorSearch": {
    "algorithms": [
      {
        "name": "my-hnsw-config",
        "kind": "hnsw",
        "hnswParameters": {
          "metric": "cosine",
          "m": 4,
          "efConstruction": 400,
          "efSearch": 500
        }
      }
    ],
    "profiles": [
      {
        "name": "my-vector-profile",
        "algorithm": "my-hnsw-config",
        "vectorizer": "my-vectorizer"
      }
    ],
    "vectorizers": [
      {
        "name": "my-vectorizer",
        "kind": "azureOpenAI",
        "azureOpenAIParameters": {
          "resourceUri": "https://XXXXXXXXXXXXXXXX.openai.azure.com",
          "deploymentId": "text-embedding-3-small",
          "apiKey": "<redacted>",
          "modelName": "text-embedding-3-small"
        }
      }
    ],
    "compressions": []
  }
}

{
  "name": "sp-rag-skillset",
  "description": "Skillset to chunk documents and generate embeddings",
  "skills": [
    {
      "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
      "name": "#1",
      "description": "Split skill to chunk documents",
      "context": "/document",
      "defaultLanguageCode": "ja",
      "textSplitMode": "pages",
      "maximumPageLength": 500,
      "pageOverlapLength": 100,
      "maximumPagesToTake": 0,
      "unit": "characters",
      "inputs": [
        {
          "name": "text",
          "source": "/document/content",
          "inputs": []
        }
      ],
      "outputs": [
        {
          "name": "textItems",
          "targetName": "pages"
        }
      ]
    },
    {
      "@odata.type": "#Microsoft.Skills.Text.AzureOpenAIEmbeddingSkill",
      "name": "#2",
      "description": "embedding",
      "context": "/document/pages/*",
      "resourceUri": "https://XXXXXXXXXXXXXXXX.openai.azure.com",
      "apiKey": "<redacted>",
      "deploymentId": "text-embedding-3-small",
      "dimensions": 1536,
      "modelName": "text-embedding-3-small",
      "inputs": [
        {
          "name": "text",
          "source": "/document/pages/*",
          "inputs": []
        }
      ],
      "outputs": [
        {
          "name": "embedding",
          "targetName": "text_vector"
        }
      ]
    }
  ],
  "cognitiveServices": {
    "@odata.type": "#Microsoft.Azure.Search.DefaultCognitiveServices"
  },
  "indexProjections": {
    "selectors": [
      {
        "targetIndexName": "sp-rag-chunks-index",
        "parentKeyFieldName": "parent_id",
        "sourceContext": "/document/pages/*",
        "mappings": [
          {
            "name": "text_vector",
            "source": "/document/pages/*/text_vector",
            "inputs": []
          },
          {
            "name": "chunk",
            "source": "/document/pages/*",
            "inputs": []
          },
          {
            "name": "file_name",
            "source": "/document/metadata_spo_item_name",
            "inputs": []
          }
        ]
      }
    ],
    "parameters": {
      "projectionMode": "skipIndexingParentDocuments"
    }
  }
}

{
  "name": "sp-rag-indexer",
  "description": null,
  "dataSourceName": "sharepoint-datasource",
  "skillsetName": "sp-rag-skillset",
  "targetIndexName": "sp-rag-chunks-index",
  "disabled": null,
  "schedule": null,
  "parameters": null,
  "fieldMappings": [],
  "outputFieldMappings": [],
  "cache": null,
  "encryptionKey": null
}

質問作成者が受け入れた回答

Manas R Mohanty 17,270 モデレーター

こんに**ちは、石川大地** •

返答の遅れをお詫びし、この件について調査時間を提供してくださった患者様に感謝いたします。

こちらがあなたの疑問への答えです。

1. 特定のフィールド(例えばmetadata_storage_name)をAI検索で明示的に参照して、ファイル名(拡張子やプレフィックスを含む)に正確に答えるプロンプトを書く設定や方法はありますか?

Foundryの適切な「回答に基づく知識のみ」設定はどこにありますか?(手順欄だけでも指示には限界があるようです。)

1. エージェント命令の最適化

このスレッドで、Azure AI検索側で検索すると結果が正常に出るとおっしゃっていましたね。

つまり、エージェントの命令とユーザークエリを修正する必要があります。

GPT 5.1のデプロイメントに、出力の不一致や出力フォーマット、適切なエージェント命令を付くためのいくつかのサンプルファイルに関して、「エージェント命令の最適化・評価者」として機能させることができます。

2. モデルパラメータの最適化

最適化された温度(現在設定は3)を見つけるには、温度を0.10から0.6に調整してください。

3. 代わりにFoundry IQ/Knowledgeとして ** AI検索インデックスを使用してください**

5821553で紹介されたインデックススキーマを解析し、最適化のための最適化を行っています。

注:重複作業を避けるために5816748とマークしています。

フォローアップ

エージェント指示を改善し温度を修正した後に結果が改善された場合は、ぜひお知らせください。

参考用の有用な資料を添付します

https://devblogs.microsoft.com/foundry/how-to-debug-and-optimize-rag-agents-in-azure-ai-foundry/

https://github.com/Azure-Samples/Design-and-evaluation-of-RAG-solutions

ありがとうございます

0 件のコメント

1 件の追加の回答

お客様の回答

Answer 1

Daichi Ishikawa 210

Manas Mohanty

GPT5.1はknowledgeとしてAzure AI Searchを利用できないようです。モデルをGPT4.1からGPT5.1に変更しようとすると、以下のメッセージが出力されます。

You can't use Azure AI Search with this model The model you're trying to use doesn't support Azure AI Search. If it's an essential source for this agent, choose an Azure OpenAI model that supports it.

温度は既に0.3に設定しています。Foundry IQはNew Foundyのポータル画面で操作可能ですね。早速対応してみましたが、今回問題としていたハルシネーションへの対策としては有効ではありませんでした。

結論としては、AI Searchのスキルセットの設定と手順「はじめにナレッジを検索してから回答してほしい」を設定することで、適切な回答が生成されることが確認できました。問題は解決できましたのでこの質問はクローズしたいです。

Manas R Mohanty 17,270 評価のポイントモデレーター

2026-03-20T01:33:14.5366667+00:00

こんにちは**、石川**大地

AI検索側で回答をクロス検証した結果、問題が解決できたと確認してくれてありがとうございます。

もし私の見解が役に立ったなら、以下の回答を受け入れてください。協力と意見の共有に感謝します。