On post-index-creation configuration verification and troubleshooting methods for indexes built from PDF files

Question

On post-index-creation configuration verification and troubleshooting methods for indexes built from PDF files

Daichi Ishikawa 210

PDF契約書をデータソースとしてインデックスを作成しましたが、検索エクスプローラー上では問題なさそうに見えるものの、AIエージェントからの利用時に不正確な挙動が見られます。インデックス構成に不備がないか確認したいです。

【環境】

**AI Searchリソース:
** azure-search-for-ai-agent-v3 (Blob由来)
azure-search-for-ai-agent-v4 (SharePoint由来)
対象データ: 契約書PDFファイル

【現状】

同じPDFファイルをBlobとSharePointに配置し、それぞれのインデックスを作成しました。
検索エクスプローラーでの検索結果には大きな差分は見られません。
しかし、これらを利用したAIエージェントが、ファイル名を正しく認識できない、または数値を誤認するケースがあります。

【質問】

フィールドマッピングの確認:
- AIエージェントが引用元として参照すべき「ファイル名」は、インデックス内のどのフィールド（metadata_storage_name、titleなど）に格納されている必要がありますか？また、それが正しくマッピングされているか確認する手順をご教示ください。
インデクサー・スキルセットの診断:
- 作成済みのインデクサーやスキルセットに、PDF解析上の不備（OCR設定漏れや、テキスト抽出の失敗など）がないかを確認するログや指標はどこを見ればよいですか？
チャンク分割の影響:
- 契約書の「金額」と「契約名」が離れた場所にある場合、チャンク分割によって文脈が切れている可能性があります。AIエージェント用途で推奨される、PDFドキュメントのチャンク分割設定（ページ単位、トークン単位など）のベストプラクティスはありますか？PDF契約書をデータソースとしてインデックスを作成しましたが、検索エクスプローラー上では問題なさそうに見えるものの、AIエージェントからの利用時に不正確な挙動が見られます。インデックス構成に不備がないか確認したいです。
- チャンク分割したままの背景としては、根拠資料の提示とあわせて該当箇所のページ情報を提示したいためです。

ロックされた質問。役に立つかどうかに投票することはできますが、コメントの追加、質問への返信やフォローはできません。

Daichi Ishikawa 210

JSON

{
  "name": "sp-rag-chunks-index",
  "purviewEnabled": false,
  "fields": [
    {
      "name": "id",
      "type": "Edm.String",
      "searchable": true,
      "filterable": false,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": false,
      "key": true,
      "analyzer": "keyword",
      "synonymMaps": []
    },
    {
      "name": "parent_id",
      "type": "Edm.String",
      "searchable": false,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": false,
      "key": false,
      "synonymMaps": []
    },
    {
      "name": "chunk",
      "type": "Edm.String",
      "searchable": true,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": true,
      "key": false,
      "analyzer": "standard.lucene",
      "synonymMaps": []
    },
    {
      "name": "file_name",
      "type": "Edm.String",
      "searchable": true,
      "filterable": true,
      "retrievable": true,
      "stored": true,
      "sortable": true,
      "facetable": true,
      "key": false,
      "analyzer": "standard.lucene",
      "synonymMaps": []
    },
    {
      "name": "text_vector",
      "type": "Collection(Edm.Single)",
      "searchable": true,
      "filterable": false,
      "retrievable": false,
      "stored": true,
      "sortable": false,
      "facetable": false,
      "key": false,
      "dimensions": 1536,
      "vectorSearchProfile": "my-vector-profile",
      "synonymMaps": []
    }
  ],
  "scoringProfiles": [],
  "suggesters": [],
  "analyzers": [],
  "normalizers": [],
  "tokenizers": [],
  "tokenFilters": [],
  "charFilters": [],
  "similarity": {
    "@odata.type": "#Microsoft.Azure.Search.BM25Similarity"
  },
  "vectorSearch": {
    "algorithms": [
      {
        "name": "my-hnsw-config",
        "kind": "hnsw",
        "hnswParameters": {
          "metric": "cosine",
          "m": 4,
          "efConstruction": 400,
          "efSearch": 500
        }
      }
    ],
    "profiles": [
      {
        "name": "my-vector-profile",
        "algorithm": "my-hnsw-config",
        "vectorizer": "my-vectorizer"
      }
    ],
    "vectorizers": [
      {
        "name": "my-vectorizer",
        "kind": "azureOpenAI",
        "azureOpenAIParameters": {
          "resourceUri": "https://XXXXXXXXXXXXXXXX.openai.azure.com",
          "deploymentId": "text-embedding-3-small",
          "apiKey": "<redacted>",
          "modelName": "text-embedding-3-small"
        }
      }
    ],
    "compressions": []
  }
}

JSON

{
  "name": "sp-rag-skillset",
  "description": "Skillset to chunk documents and generate embeddings",
  "skills": [
    {
      "@odata.type": "#Microsoft.Skills.Text.SplitSkill",
      "name": "#1",
      "description": "Split skill to chunk documents",
      "context": "/document",
      "defaultLanguageCode": "ja",
      "textSplitMode": "pages",
      "maximumPageLength": 500,
      "pageOverlapLength": 100,
      "maximumPagesToTake": 0,
      "unit": "characters",
      "inputs": [
        {
          "name": "text",
          "source": "/document/content",
          "inputs": []
        }
      ],
      "outputs": [
        {
          "name": "textItems",
          "targetName": "pages"
        }
      ]
    },
    {
      "@odata.type": "#Microsoft.Skills.Text.AzureOpenAIEmbeddingSkill",
      "name": "#2",
      "description": "embedding",
      "context": "/document/pages/*",
      "resourceUri": "https://XXXXXXXXXXXXXXXX.openai.azure.com",
      "apiKey": "<redacted>",
      "deploymentId": "text-embedding-3-small",
      "dimensions": 1536,
      "modelName": "text-embedding-3-small",
      "inputs": [
        {
          "name": "text",
          "source": "/document/pages/*",
          "inputs": []
        }
      ],
      "outputs": [
        {
          "name": "embedding",
          "targetName": "text_vector"
        }
      ]
    }
  ],
  "cognitiveServices": {
    "@odata.type": "#Microsoft.Azure.Search.DefaultCognitiveServices"
  },
  "indexProjections": {
    "selectors": [
      {
        "targetIndexName": "sp-rag-chunks-index",
        "parentKeyFieldName": "parent_id",
        "sourceContext": "/document/pages/*",
        "mappings": [
          {
            "name": "text_vector",
            "source": "/document/pages/*/text_vector",
            "inputs": []
          },
          {
            "name": "chunk",
            "source": "/document/pages/*",
            "inputs": []
          },
          {
            "name": "file_name",
            "source": "/document/metadata_spo_item_name",
            "inputs": []
          }
        ]
      }
    ],
    "parameters": {
      "projectionMode": "skipIndexingParentDocuments"
    }
  }
}

YAML

{
  "name": "sp-rag-indexer",
  "description": null,
  "dataSourceName": "sharepoint-datasource",
  "skillsetName": "sp-rag-skillset",
  "targetIndexName": "sp-rag-chunks-index",
  "disabled": null,
  "schedule": null,
  "parameters": null,
  "fieldMappings": [],
  "outputFieldMappings": [],
  "cache": null,
  "encryptionKey": null
}