In Dokumente eingebettete Bilder im Agent-Abruf anzeigen (Vorschau)

Verwenden Sie Bildbereitstellung (Vorschau), um in Ihren Quelldokumenten eingebettete Bilder (z. B. Diagramme, Schaubilder, Infografiken, gescannte Formulare und Produktbilder) beim agentischen Retrieval verfügbar zu machen, damit Ihr Large Language Model (LLM) bei der Synthese einer Antwort visuellen Kontext zusammen mit Text berücksichtigen kann.

Wenn Sie die Bereitstellung von Bildern aktivieren, führt Azure KI-Suche Folgendes aus:

• Zum Zeitpunkt der Indizierung werden Bilder aus unterstützten Dokumenten extrahiert und in einem vom Kunden bereitgestellten Azure Blob-Assetspeicher gespeichert.

• Zum Abfragezeitpunkt werden diese Bilder im Rahmen der Abrufaktion abgerufen, in Base64 kodiert und als multimodale Inhalte in den LLM-Prompt eingefügt, der die generierte Antwort erzeugt.

In diesem Artikel erfahren Sie, wie Sie die Bildbereitstellung auf einer Wissensbasis aktivieren, diese pro Anforderung außer Kraft setzen, Statistiken zur Bildbereitstellung prüfen und die Anforderungen des Speicherkontolebenszyklus planen.

Nutzungssupport

Voraussetzungen

• Ein Azure KI-Suche-Dienst mit einer knowledge Base, die eine LLM angibt. Die Wissensbasis muss die Antwortsynthese verwenden.

• Eine dateibasierte indizierte Wissensquelle, die mit einem assetStore konfiguriert ist in ihrem ingestionParameters. Unterstützte Arten:

  • Blob-Wissensquelle (Azure Blob Storage oder Azure Data Lake Storage Gen2)
  • Indizierte OneLake-Wissensquelle
  • Indizierte SharePoint-Wissensquelle

  Erfüllen Sie für Blob-Wissensquellen, die die Standardextraktion verwenden, die Voraussetzungen für Blob-Wissensquellen.

• Die Wissensquelle darf ingestionPermissionOptions nicht konfigurieren.

• Quelldokumente, die extrahierende Bilder enthalten, z. B. PNG-Dateien, JPEG-Dateien oder PDF-Dateien mit eingebetteten Bildern.

• Eine Microsoft Foundry-Ressource in einer Region, die von Azure Content Understanding in Foundry Tools unterstützt wird, mit Azure OpenAI-Einbettung und multimodalen Chatmodellbereitstellungen. Verwenden Sie den Ressourcenendpunkt im https://<resource-name>.services.ai.azure.com Format.

• Berechtigung zum Erstellen oder Aktualisieren der Wissensbasis und der verwalteten Wissensquelle. Konfigurieren Sie die schlüssellose Authentifizierung mit den Rollen "Mitwirkender des Suchdiensts " und " Indexdatenmitwirkender ", die dem Benutzer oder der Automatisierungsidentität zugewiesen sind, die diese Verwaltungsvorgänge ausführt (empfohlen). Alternativ können Sie einen Administrator-API-Schlüssel verwenden.

• Berechtigung zum Aufrufen der Aktion „Abrufen“. Weisen Sie die Rolle des Suchindexdatenlesers der Identität zu, die Abrufanforderungen sendet (empfohlen), oder verwenden Sie einen Abfrage-API-Schlüssel.

• Für ausgehende Aufrufe an das LLM während der Antwortsynthese muss der Suchdienst über eine verwaltete Identität mit Cognitive Services User-Berechtigungen für die Microsoft Foundry-Ressource verfügen, auf der das LLM gehostet wird.

• Konfigurieren Sie für den Zugriff auf den Ressourcenspeicher die verwaltete Identität des Suchdiensts, wie unter Konfigurieren des Ressourcenspeichers und des Anwendungszugriffs beschrieben.

• Die 2026-08-01-preview-REST-API oder ein entsprechendes Azure SDK-Vorschaupaket: .NET | Java | JavaScript | Python

Einschränkungen und Überlegungen

• Die Bildbereitstellung ist nur über die retrieve API im agentischen Abruf verfügbar. Klassische /docs/search Abfragen liefern keine in Dokumente eingebetteten Bilder an die nachgelagerte Antwortsynthese ohne eine benutzerdefinierte Lösung oder Konfiguration.

• Die Bildbereitstellung wird nur im Ausgabemodus der Antwortsynthese ausgeführt. Der extractiveData Ausgabemodus überspringt die Bildbereitstellung.

• Die Bereitstellung von Bildern gilt nur für dateibasierte, indizierte Wissensquellen, bei denen assetStore konfiguriert ist und die indizierte Chunks mit befüllten image_path-Werten enthalten.

• In gemischten Wissensdatenbanken stellen nur unterstützte Wissensquellentypen (Blob, indizierte OneLake und indizierte SharePoint) dokumentbasierte Bilder für die nachgeschaltete Antwortsynthese bereit. Andere Arten können weiterhin zur Textverankerung beitragen.

• Die Bildbereitstellung wird für Wissensquellen nicht unterstützt, die ingestionPermissionOptions zum Erfassen von Berechtigungen auf Dokumentebene verwenden, einschließlich ACLs, RBAC-Bereichen oder Microsoft Purview-Vertraulichkeitsbezeichnungen. Der Objektspeicher erstellt einen zugrunde liegenden Wissensspeicher, und Wissensspeicher unterstützen keine Berechtigungsvererbung.

• Das Abrufantwortschema definiert keine Felder für die einzelnen Bildpfade des Objektspeichers oder Bildbytes, die an das Modell gesendet werden. Die imageServing Aktivitätsberichte aggregieren Statistiken für die abgerufenen und an das Modell gesendeten Bilder.

• Der Zugriff auf Bilder wird auf Speicherkontoebene unabhängig vom Zugriff auf indizierte Inhalte gesteuert. Jede Identität mit Lesezugriff auf das Objektspeicherkonto kann seine Bilder abrufen.

• Speichern Sie geheime Schlüssel (Kontoschlüssel, Token, Verbindungszeichenfolgen) nicht in Quelldokumenten, da Inhalte als Erdungsdaten zurückgegeben werden können.

• Die Bereitstellung von Bildern kann die Latenz bei der Antwortsynthese aufgrund von Bilddownloads und der multimodalen Tokenverarbeitung erhöhen. Führen Sie repräsentative Abfragen mit aktivierter und deaktivierter Bildbereitstellung aus, und vergleichen Sie die Antwortlatenz mit der gemeldeten imageServing Aktivität.

• Inhaltsverständnis kann unterschiedliche Bildergebnisse für PDF- und DOCX-Dateien erzeugen. Wenn eine konsistente Eingebettete Bildextraktion und Verbalisierung erforderlich sind, konvertieren Sie Quelldokumente in PDF oder testen Sie jedes Quellformat mit repräsentativen Inhalten.

So funktioniert die Bildbereitstellung

Die Bildbereitstellung weist zwei Phasen auf:

• Indizierung: Wenn Sie eine standardmäßige Inhaltsextraktion und einen Assetspeicher für eine Wissensquelle konfigurieren, unterteilt der generierte Content-Understanding-Skill das Dokument semantisch in Abschnitte, erhält Tabellen als Markdown und verwendet das konfigurierte LLM, um eingebettete Abbildungen zu beschreiben. Abbildungsbeschreibungen werden Bestandteil des angereicherten Markdown, das von der Embedding-Fähigkeit vektorisiert wird. Die Fähigkeit extrahiert auch Bilder in Ihren Blob-Objektspeicher und fügt image_path-Verweise auf überlappende Blöcke hinzu.

  Wenn Sie einen Bestandsspeicher konfigurieren, stellt der Suchdienst auch einen Wissensspeicher zusammen mit der Wissensquelle bereit, um die extrahierten Bildartefakte beizubehalten. Sie können diesen Wissensspeicher wie jeder andere überprüfen und verwalten.

• Abrufen: Wenn die Abrufaktion mit aktivierter Bildfunktion ausgeführt wird, ruft der Suchdienst die übereinstimmenden Bilder aus dem Objektspeicher ab, codiert sie base64 und schließt sie als multimodalen Inhalt in die Antwortsyntheseaufforderung ein.

Konfigurieren des Ressourcenspeichers und des Anwendungszugriffs

Die Bildbereitstellung umfasst drei Vertrauensstellungsgrenzen. Bei der Indizierung schreibt der Suchdienst Bildartefakte in Ihren Asset Store. Zur Abfragezeit liest der Suchdienst aus dem Objektspeicher, um Bilder abzurufen. Ihre Anwendung liest auch aus dem Objektspeicher, wenn bilder in einer Benutzeroberfläche gerendert werden müssen. Konfigurieren Sie jeden Pfad so, dass er dem Prinzip der geringsten Rechte folgt.

Suchdienstzugriff auf den Objektspeicher

• Verwenden Sie Microsoft Entra ID und eine managed Identity für den Suchdienst. Weisen Sie die Identität der Rolle Storage Blob Data Contributor im Speicherkontobereich zu, da der Indexer Bildartefakte schreibt und die abrufende Aktion sie liest. Wenn die Quell- und Assetcontainer dasselbe Konto verwenden, gewährt die Rolle auch Lesezugriff auf Quellblobs.

• Aktivieren Sie keinen anonymen öffentlichen Zugriff auf den Objektspeichercontainer.

Anwendungszugriff auf Bildverweise

Der generierte Index speichert image_path Verweise auf Bilder im Objektspeicher. Das Abrufantwortschema definiert keine dedizierten Felder für die einzelnen Bildpfade des Objektspeichers oder Bildbytes, die an das Modell gesendet werden. Optionales sourceData sind strukturierte Referenzdaten, und image_path ist darin nicht erforderlich.

So zeigen Sie ein indiziertes Bild in Ihrer Anwendung an:

1. Weisen Sie der Identität Ihrer Anwendung die Rolle Storage Blob Data Reader im Geltungsbereich des Asset-Speicherkontos zu.

2. Weisen Sie die Identität Ihrer Anwendung der Rolle "Indexdatenleser" zu, damit sie den generierten Index abfragen kann.

3. Beziehen Sie ein autorisiertes image_path aus dem generierten Index über eine anwendungsgesteuerte Abfrage oder einen Dienstendpunkt.

4. Überprüfen Sie, ob der Verweis auf das erwartete Speicherkonto und den Ressourcencontainer aufgelöst wird. Lehnen Sie nicht vertrauenswürdige Pfade vor dem Blob-Nachschlagevorgang ab.

5. Rufen Sie den resultierenden Blobnamen aus dem Assetcontainer mithilfe der Identität Ihrer Anwendung ab.

Mit dieser Trennung können Sie steuern, wer Quellbilder unabhängig davon anzeigen kann, wer die Abrufen-API aufrufen kann.

Konfigurieren des Ressourcenspeichers in einer Wissensquelle

Konfigurieren Sie assetStore in den ingestionParameters einer unterstützten indizierten Wissensquelle. Der Assetspeicher ist ein Blob-Container, den Sie besitzen und in den der Suchdienst Bildartefakte schreibt.

Informationen zu quellspezifischen Anweisungen finden Sie unter:

• Erstellen einer Blob-Wissensquelle
• Erstellen einer indizierten SharePoint-Wissensquelle
• Erstellen einer OneLake-Wissensquelle

Eine minimale Blob-Wissensquelle mit aktiviertem Image-Dienst sieht wie folgt aus:

PUT https://{service-name}.search.windows.net/knowledgesources/my-blob-ks?api-version=2026-08-01-preview
Content-Type: application/json
Authorization: Bearer {{search-access-token}}

{
  "name": "my-blob-ks",
  "kind": "azureBlob",
  "azureBlobParameters": {
    "connectionString": "ResourceId=<storage-resource-id>",
    "containerName": "source-documents",
    "ingestionParameters": {
      "assetStore": {
        "connectionString": "ResourceId=<storage-resource-id>",
        "containerName": "image-assets"
      },
      "chatCompletionModel": {
        "kind": "azureOpenAI",
        "azureOpenAIParameters": {
          "resourceUri": "https://{foundry-resource}.services.ai.azure.com",
          "deploymentId": "gpt-4o",
          "modelName": "gpt-4o"
        }
      },
      "embeddingModel": {
        "kind": "azureOpenAI",
        "azureOpenAIParameters": {
          "resourceUri": "https://{foundry-resource}.services.ai.azure.com",
          "deploymentId": "text-embedding-3-large",
          "modelName": "text-embedding-3-large"
        }
      },
      "contentExtractionMode": "standard",
      "aiServices": {
        "uri": "https://{foundry-resource}.services.ai.azure.com"
      }
    }
  }
}

Konfigurationsergebnisse

Die Kombination von assetStore, disableImageVerbalizationund chatCompletionModel bestimmt, was der Indexer speichert und was das Modell zur Abfragezeit sieht:

• Asset Store + Verbalisierung (Standard):assetStore festgelegt, disableImageVerbalization belassen als false, chatCompletionModel festgelegt. Der Indexer behält Bilder im Asset Store bei und speichert Textbeschreibungen im Index. Die Abrufaktivität kann verbalizationUsed als true melden.

• Nur für den Asset-Store:assetStore festgelegt, disableImageVerbalization festgelegt auf true, chatCompletionModel nicht erforderlich. Der Indexer speichert Bilder im Objektspeicher, generiert aber keine Textbeschreibungen. Die Abrufaktivität kann verbalizationUsed als false melden.

• Kein Ressourcenspeicher, Modellsatz:assetStore nicht festgelegt, chatCompletionModel festgelegt. Nur Textbeschreibungen, keine Bildartefakte. Die Bildbereitstellung wird nicht angewendet.

• Kein Objektspeicher, kein Modell: Keine Bildverarbeitung.

Asset-Store-Konfiguration überprüfen

Warten Sie, bis die Erfassung abgeschlossen ist, bevor Sie fortfahren:

• Überprüfen Sie den Indexerstatus im Azure-Portal oder verwenden Sie Get Indexer Status (REST-API).

• Überprüfen Sie, ob indizierte Blöcke über ein aufgefülltes image_path Feld verfügen. Wenn image_path leer ist, überprüfen Sie den Indexerstatus, die Asset-Store-Konfiguration der Wissensquelle, den Inhalt des Quelldokuments und den Inhalt des Asset-Containers.

• Überprüfen Sie den Asset-Store-Container. Sie sollten Bildblobs sehen, die der Indexer während der Erfassung erstellt hat.

Aktivieren Sie die Auslieferung von Bildern für eine Wissensdatenbank

Setzen Sie enableImageServing auf true für den Verweis auf die Wissensquelle innerhalb der Wissensbasisdefinition. Diese Einstellung wird die Standardeinstellung für jede Abrufanforderung, die auf die Wissensquelle ausgerichtet ist.

Die Wissensbasisdefinition legt auch das LLM fest, das für die Antwortsynthese zur Abfragezeit verwendet wird. Diese Einstellung ist unabhängig von allen chatCompletionModel Einstellungen, die Sie für die Wissensquelle ingestionParametersfestlegen, die die Bildverbalisierung während der Indizierung steuert.

Wenn Ihre Wissensdatenbank auf mehrere Wissensquellen verweist, setzen Sie enableImageServing nur für unterstützte dateibasierte, indizierte Typen fest, für die assetStore konfiguriert ist. Nicht unterstützte Arten (z. B. Suchindex, Remote-SharePoint oder Web) tragen weiterhin zur Textergrundung bei, stellen aber keine dokumentbasierten Bilder zur nachgeschalteten Antwortsynthese bereit.

PUT https://{service-name}.search.windows.net/knowledgebases/my-kb?api-version=2026-08-01-preview
Content-Type: application/json
Authorization: Bearer {{search-access-token}}

{
  "name": "my-kb",
  "knowledgeSources": [
    {
      "name": "my-blob-ks",
      "enableImageServing": true
    }
  ],
  "outputMode": "answerSynthesis",
  "models": [
    {
      "kind": "azureOpenAI",
      "azureOpenAIParameters": {
        "resourceUri": "https://{foundry-resource}.services.ai.azure.com",
        "deploymentId": "gpt-4o",
        "modelName": "gpt-4o"
      }
    }
  ]
}

Überprüfen Sie die Aktivierung der Auslieferung von Bildern

Senden Sie eine GET Anforderung an den Knowledge Base-Endpunkt, und stellen Sie sicher, dass die Referenz zur Wissensquelle enthalten ist "enableImageServing": true.

Abruf mit Bildauslieferung

Rufen Sie die Aktion „Abrufen“ für die Wissensbasis auf. Um den Standardwert der Wissensdatenbank für jede Anfrage zu überschreiben, setzen Sie enableImageServing im entsprechenden Eintrag unter knowledgeSourceParams.

POST https://{service-name}.search.windows.net/knowledgebases/my-kb/retrieve?api-version=2026-08-01-preview
Content-Type: application/json
Authorization: Bearer {{search-access-token}}

{
  "retrievalReasoningEffort": { "kind": "medium" },
  "outputMode": "answerSynthesis",
  "includeActivity": true,
  "messages": [
    {
      "role": "user",
      "content": [
        { "type": "text", "text": "What's the wiring configuration shown in the installation guide?" }
      ]
    }
  ],
  "knowledgeSourceParams": [
    {
      "knowledgeSourceName": "my-blob-ks",
      "kind": "azureBlob",
      "enableImageServing": true
    }
  ]
}

Was passiert beim Abrufen?

Für Bildverweise, die mit übereinstimmenden Inhalten verknüpft sind, lädt der Suchdienst die entsprechenden Bilder aus dem Objektspeicher herunter, base64-codiert sie und übergibt sie als multimodalen Inhalt an das nachgeschaltete Antwortsynthesemodell. Prüfen Sie aggregierte Statistiken zur Bildbereitstellung in activity.imageServing. Die genaue Struktur der Antwort finden Sie in der Referenzdokumentation für Knowledge Retrieval - Retrieve (REST API).

Überprüfen des Abrufverhaltens

Eine Abrufantwort kann diese Signale zur Bildbereistellung bereitstellen:

• Wenn includeActivity auf true gesetzt ist, meldet das activity-Array imageServing-Aktivität für eine Wissensquelle, wenn der Dienst Operationen zur Bereitstellung von Bildern aufzeichnet.

• Ein Wert größer als 0 bedeutet, dass der Dienst meldet, dass er Bilder an das nachgeschaltete Modell zur Antwortsynthese geliefert hat.

Rangfolgeregeln

Wenn sowohl in der Wissensbasisdefinition als auch in der Abrufanforderung enableImageServing angegeben ist, hat der Wert in der Abrufanforderung Vorrang. Die vollständige Rangfolge lautet:

1. Der Wert in knowledgeSourceParams[].enableImageServing der Abrufanforderung (sofern festgelegt).
2. Der Wert für den entsprechenden Wissensquellenverweis in der Wissensbasisdefinition (falls festgelegt).
3. false (Standardeinstellung).

In der folgenden Tabelle sind die neun Kombinationen zusammengefasst.

Bildbereitstellungsstatistiken prüfen

Während der Bildbereitstellung enthält die Abrufantwort für jede Wissensquelle einen imageServing-Abschnitt im activity-Array. Verwenden Sie diesen Abschnitt, um die vom Objektspeicher abgerufenen Bilder mit den an das Modell gesendeten Bildern zu vergleichen.

"activity": [
  {
    "type": "azureBlob",
    "knowledgeSourceName": "my-blob-ks",
    "imageServing": {
      "verbalizationUsed": true,
      "imagesRetrieved": 5,
      "imagesSentToModel": 4,
      "totalImageSizeBytes": 248361
    }
  }
]

Der Feldbericht:

• verbalizationUsed: Die vom Dienst gemeldete Bild-Verbalisierungsstatistik für die Abrufaktivität.

• imagesRetrieved: Die Anzahl der Bilder, die aus dem Objektspeicher abgerufen wurden.

• imagesSentToModel: Die Anzahl der Bilder, die an das nachgelagerte Modell gesendet werden.

• totalImageSizeBytes: Die Gesamtgröße der an das Modell gesendeten Bilder in Byte.

Wenn imagesRetrieved größer als imagesSentToModel, wurde nicht jedes abgerufene Bild an das Modell gesendet.

Überprüfen Sie verbalizationUsed und imagesSentToModel unabhängig voneinander. Eine Antwort kann sowohl verbalizationUsed als true und ein oder mehrere an das Modell gesendete Bilder angeben.

End-to-End-Testen der Bildbereitstellung

Verwenden Sie eines der folgenden Beispiele, um das vollständige Setup zu testen:

• C#-Beispiel für Bildbereitstellung
• beispiel für Python image-serving

In den Beispielen werden eine Blob-Wissensquelle und eine Blob-Wissensbasis erstellt, Abrufanforderungen bei deaktivierter und aktivierter Bildbereitstellung verglichen und Statistiken zur Bildbereitstellung untersucht. Sie verwenden außerdem eine unabhängige Abfrage des Platzhalterindex, um ein image_path auszuwählen und dieses Asset herunterzuladen. In den Beispielen wird eine durch Semikolons getrennte Referenz ausgewählt, ein Projektionspräfix wie z. B. 11.7: aus einem relativen Pfad entfernt oder ein absoluter Pfad URL-dekodiert und sein vorangestelltes Segment „asset-container“ entfernt. Diese Transformationen sind Beispielverhalten und keine Garantien für die Abruf-API. Das ausgewählte Asset ist kein Beleg dafür, dass dasselbe Bild zu einer bestimmten Antwort auf einen Abruf beigetragen hat.

Eine typische A/B-Vergleichsprüfliste:

• Wählen Sie eine Frage aus, die nur anhand eines Diagramms, einer Tabelle oder eines gescannten Bildes beantwortet werden kann.

• Führen Sie die Abrufanfrage mit enableImageServing: false aus und zeichnen Sie die Antwort auf.

• Führen Sie dieselbe Abrufanforderung mit enableImageServing: true und vergleichen Sie die Antworten, Latenz und gemeldete Aktivität.

• Behandeln Sie Antwortunterschiede als Beobachtungs-A/B-Signale, nicht als Beweis dafür, dass Bilder die Unterschiede verursacht hätten. Ein imagesSentToModel Wert größer als 0 bedeutet, dass der Dienst meldet, dass er dem Modell Bilder bereitgestellt hat.

Bereinigen von Ressourcen

Löschen Sie die Wissensdatenbank, bevor Sie die Wissensquelle löschen. Durch das Löschen dieser Azure KI-Suche Ressourcen werden keine Quelldokumente oder projizierten Bildblobs in Azure Storage gelöscht. Löschen Sie diese Blobs nur separat, wenn keine beibehaltene Aufnahme- oder Abrufpipeline sie noch benötigt.

Problembehandlung

Verwenden Sie den Aktivitätsblock imageServing aus Statistik zur Bildbereitstellung prüfen als erstes Diagnosewerkzeug. Die folgende Tabelle listet Prüfungen für häufige Symptome auf, ohne von einer einzigen Ursache auszugehen.

Verwandte Inhalte

• Abfragen einer Wissensbasis
• Verwenden der Antwortsynthese für zitatgestützte Antworten
• Was ist eine Wissensquelle?
• Wissensspeicher: Konzepte