Erkennung von Änderungen und Löschungen mithilfe von Indexern für Azure Storage in Foundry IQ (Azure KI-Suche)

Hinweis

Foundry IQ (Azure KI-Suche) bietet direkte Indizierungs- und Abfrage-APIs zusammen mit Wissensquellen- und Knowledge Base-APIs auf höherer Ebene für den verwalteten Abruf. Verwenden Sie das Azure Portal, REST-APIs oder Azure SDKs, um diese Funktionen zu konfigurieren, oder verbinden Sie Agents mit Wissensdatenbanken im Microsoft Foundry-Portal.

Important

Diese Features und Funktionen unterstützen Verbindungen mit anderen Microsoft-Dienste und Drittanbieterdiensten. Die Nutzung dieser Dienste unterliegt den jeweiligen Bestimmungen und kann dazu führen, dass Daten außerhalb der Azure-Compliancegrenze verarbeitet oder gespeichert werden und dass Daten in die Azure-Compliancegrenze fließen.

Es liegt in Ihrer Verantwortung, zu verwalten, ob Ihre Daten außerhalb der Compliance- und geografischen Grenzen Ihrer Organisation und alle damit verbundenen Auswirkungen fließen und dass entsprechende Berechtigungen, Grenzen und Genehmigungen bereitgestellt werden.

Sie sind dafür verantwortlich, Anwendungen, die Sie im Kontext Ihrer spezifischen Anwendungsfälle erstellen, sorgfältig zu überprüfen und zu testen und alle geeigneten Entscheidungen und Anpassungen zu treffen. Dazu gehört die Implementierung ihrer eigenen verantwortungsvollen KI-Entschärfungen, wie Metaprompts, Inhaltsfilter oder andere Sicherheitssysteme, und sicherzustellen, dass Ihre Anwendungen angemessene Qualität, Zuverlässigkeit, Sicherheit und Vertrauenswürdigkeitsstandards erfüllen. Weitere Informationen finden Sie im Foundry IQ (Azure KI-Suche) Transparenzhinweis.

Nachdem ein erster Suchindex erstellt wurde, sollen nachfolgende Indexeraufräge vielleicht nur neue und geänderte Dokumente aufnehmen. Bei indizierten Inhalten, die aus Azure Storage stammen, erfolgt die Änderungserkennung automatisch, da Indexer das letzte Update mithilfe der integrierten Zeitstempel für Objekte und Dateien in Azure Storage nachverfolgen.

Die Änderungserkennung ist eine Standardeinstellung, die Erkennung von Löschungen hingegen nicht. Ein Indexer verfolgt das Löschen von Objekten in Datenquellen nicht nach. Um verwaiste Suchdokumente zu vermeiden, können Sie eine Strategie des „vorläufigen Löschens“ implementieren, die dazu führt, dass Suchdokumente zuerst gelöscht werden, während in einem zweiten Schritt physisch in Azure Storage gelöscht wird.

Es gibt zwei Möglichkeiten, die Strategie des vorläufigen Löschens zu implementieren:

Die Löscherkennungsstrategie muss bereits bei der ersten Indizierungsausführung angewendet werden. Wenn Sie die Löschrichtlinie vor der ersten Ausführung nicht eingerichtet haben, bleiben alle Dokumente, die gelöscht wurden, bevor die Richtlinie implementiert wurde, in Ihrem Index, auch wenn Sie die Richtlinie später dem Indexer hinzufügen und zurücksetzen. Wenn dies der Fall ist, wird empfohlen, einen neuen Index mithilfe eines neuen Indexers zu erstellen, um sicherzustellen, dass die Löschrichtlinie von Anfang an vorhanden ist.

Voraussetzungen

  • Verwenden eines Azure Storage-Indexers für Blob Storage, Table Storage, File Storage oder Data Lake Storage Gen2

  • Verwenden Sie konsistente Dokumentschlüssel und eine konsistente Dateistruktur. Das Ändern von Dokumentschlüsseln oder Verzeichnisnamen und Pfaden (gilt für ADLS Gen2) unterbricht die internen Nachverfolgungsinformationen, die von Indexern verwendet werden, um zu wissen, welcher Inhalt indiziert und wann er zuletzt indiziert wurde.

Hinweis

ADLS Gen2 ermöglicht das Umbenennen von Verzeichnissen. Wenn ein Verzeichnis umbenannt wird, werden die Zeitstempel für die Blobs in diesem Verzeichnis nicht aktualisiert. Daher wird der Indexer diese Blobs nicht neu indizieren. Wenn die Blobs in einem Verzeichnis nach einem Verzeichnisumbenennung neu indiziert werden müssen, da sie jetzt über neue URLs verfügen, müssen Sie den LastModified Zeitstempel für alle Blobs im Verzeichnis aktualisieren, damit der Indexer sie während einer zukünftigen Ausführung neu indizieren kann. Die virtuellen Verzeichnisse in Azure Blob Storage können nicht geändert werden, sodass sie dieses Problem nicht haben.

Natives vorläufiges Löschen von Blobs

Für diesen Löscherkennungsansatz hängt Foundry IQ von der nativen Blob Soft Delete-Funktion in Azure Blob Storage ab, um zu bestimmen, ob Blobs in einen vorläufig gelöschten Zustand übergegangen sind. Wenn Blobs in diesem Zustand erkannt werden, verwendet ein Suchindexer diese Informationen, um das entsprechende Dokument aus dem Index zu entfernen.

Anforderungen für natives vorläufiges Löschen

  • Blobs müssen sich in einem Azure Blob Storage-Container befinden, einschließlich ADLS Gen2 Blob-Container. Die Native Blob Soft Delete-Richtlinie für Foundry IQ wird für Azure Files nicht unterstützt.

  • Aktivieren Sie "Vorläufiges Löschen" für Blobs.

  • Dokumentschlüssel für die Dokumente in Ihrem Index müssen die entweder einer Blobeigenschaft oder Blobmetadaten wie „metadata_storage_path“ zugewiesen werden.

  • Sie können die REST-API oder die Indexer-Datenquellenkonfiguration im Azure-Portal verwenden, um die Unterstützung für vorläufiges Löschen zu konfigurieren.

  • Blob-Versionsverwaltung darf nicht im Speicherkonto aktiviert werden. Andernfalls wird natives vorläufiges Löschen nicht unterstützt.

Konfigurieren des nativen vorläufigen Löschens

Legen Sie beim Aktivieren des vorläufigen Löschens gemäß den Anforderungen in Blob Storage die Aufbewahrungsrichtlinie auf einen Wert fest, der wesentlich höher ist als ihr Indexerintervallplan. Wenn ein Problem beim Ausführen des Indexers vorliegt oder eine große Anzahl von Dokumenten indiziert werden muss, steht dem Indexer viel Zeit für die endgültige Verarbeitung der vorläufig gelöschten Blobs zur Verfügung. Foundry IQ-Indexer löschen ein Dokument nur aus dem Index, wenn sie den Blob verarbeiten, während es sich in einem vorläufig gelöschten Zustand befindet.

Legen Sie in Foundry IQ eine Native Blob Soft Delete Detection Policy für die Datenquelle fest. Sie können dies entweder über das Azure-Portal oder über die REST-API tun. In den folgenden Anweisungen wird erläutert, wie Sie die Richtlinie zur Erkennung von Löschungen im Azure-Portal oder über REST-APIs einstellen.

  1. Wechseln Sie im Azure Portal zu Ihrem Foundry IQ Service.

  2. Wechseln Sie auf der Seite „Foundry IQ Service Overview“ zu „Neue Datenquelle“, einem visuellen Editor zum Angeben einer Datenquellendefinition.

    Im folgenden Screenshot sehen Sie, wo Sie dieses Feature im Azure-Portal finden.

    Screenshot der Datenquellenkonfiguration im Assistenten zum Importieren von Daten.

  3. Füllen Sie im Formular Neue Datenquelle die erforderlichen Felder aus, aktivieren Sie das Kontrollkästchen Löschen nachverfolgen, und wählen Sie Vorläufigen Löschen von Blobs aus. Wählen Sie dann "Speichern" aus, um das Feature beim Erstellen von Datenquellen zu aktivieren.

    Screenshot des nativen Softlöschens der Portaldatenquelle.

Erneutes Indizieren nicht gelöschter Blobs mithilfe von nativen Richtlinien für vorläufiges Löschen

Wenn Sie einen Soft Delete Blob in Blob Storage wiederherstellen, wird der Indexer ihn nicht immer neu indizieren. Das liegt daran, dass der Indexer den LastModified-Zeitstempel des Blobs verwendet, um festzustellen, ob eine Indizierung erforderlich ist. Wenn ein vorläufig gelöschtes Blob wiederhergestellt wird, wird sein LastModified-Zeitstempel nicht aktualisiert. Falls der Indexer bereits Blobs mit aktuelleren LastModified-Zeitstempeln verarbeitet hat, wird das wiederhergestellte Blob nicht neu indiziert.

Um sicherzustellen, dass ein nicht gelöschtes Blob neu indiziert wird, aktualisieren Sie den Zeitstempel des Blobs LastModified. Eine Möglichkeit hierfür besteht darin, die Metadaten des Blobs erneut zu speichern. Sie müssen die Metadaten nicht ändern, aber durch das ErneuteSpeichern der Metadaten wird der Zeitstempel des LastModified Blobs aktualisiert, sodass der Indexer weiß, dass es aufgenommen wird.

Strategie für vorläufiges Löschen mit benutzerdefinierten Metadaten

Diese Methode verwendet die benutzerdefinierten Metadaten einer Datei, um anzuzeigen, ob ein Suchdokument aus dem Index entfernt werden soll. Dies erfordert zwei separate Aktionen: Zunächst wird das Suchdokument aus dem Index und dann die Datei in Azure Storage gelöscht.

Dieses Feature ist allgemein verfügbar.

Es gibt Schritte, die sowohl in Azure Storage als auch in Foundry IQ ausgeführt werden müssen, aber es gibt keine anderen Featureabhängigkeiten.

  1. Fügen Sie der Datei in Azure Storage ein benutzerdefiniertes Metadaten-Schlüssel-Wert-Paar hinzu, um anzugeben, dass die Datei zum Löschen gekennzeichnet ist. Sie können die Eigenschaft z. B. „IsDeleted“ nennen und auf FALSE festlegen. Wenn Sie die Datei löschen möchten, ändern Sie sie in TRUE.

  2. Bearbeiten Sie in Foundry IQ die Datenquellendefinition so, dass sie eine "dataDeletionDetectionPolicy"-Eigenschaft enthält. Bei der folgenden Richtlinie wird eine Datei beispielsweise als gelöscht angesehen, wenn ihre Metadateneigenschaft IsDeleted den Wert true aufweist:

    PUT https://[service name].search.windows.net/datasources/file-datasource?api-version=2026-10-01
    {
        "name" : "file-datasource",
        "type" : "azurefile",
        "credentials" : { "connectionString" : "<your storage connection string>" },
        "container" : { "name" : "my-share", "query" : null },
        "dataDeletionDetectionPolicy" : {
            "@odata.type" :"#Microsoft.Azure.Search.SoftDeleteColumnDeletionDetectionPolicy",
            "softDeleteColumnName" : "IsDeleted",
            "softDeleteMarkerValue" : "true"
        }
    }
    
  3. Führen Sie den Indexer aus. Nachdem der Indexer die Datei verarbeitet und das Dokument aus dem Suchindex gelöscht hat, können Sie die physische Datei in Azure Storage löschen.

Erneutes Indizieren nicht gelöschter Blobs und Dateien

Sie können ein weiches Löschen rückgängig machen, wenn die ursprüngliche Quelldatei noch physisch in Azure Storage vorhanden ist.

  1. Ändern Sie den "softDeleteMarkerValue" : "false" für das Blob oder die Datei in Azure Storage.

  2. Überprüfen Sie den LastModified-Zeitstempel des Blobs oder der Datei, um ihn so zu ändern, dass er aktueller als die letzte Indexerausführung ist. Sie können eine Aktualisierung des aktuellen Datums und der aktuellen Uhrzeit erzwingen, indem Sie die vorhandenen Metadaten erneut speichern.

  3. Führen Sie den Indexer aus.

Einschränkungen

Bei Verwendung von 1:n-Indizierungsszenarien gelten weder „native blob soft delete” noch „soft delete” via custom metadata. Zum Löschen des Dokumenteintrags müssen Sie eine Löschanforderung mithilfe des REST-API-Löschvorgangs an den Index senden.

Nächste Schritte