Indizieren von Blobs und Dateien zum Erstellen mehrerer Suchdokumente

Hinweis

Foundry IQ (Azure KI-Suche) bietet direkte Indizierungs- und Abfrage-APIs zusammen mit Wissensquellen- und Knowledge Base-APIs auf höherer Ebene für den verwalteten Abruf. Verwenden Sie das Azure Portal, REST-APIs oder Azure SDKs, um diese Funktionen zu konfigurieren, oder verbinden Sie Agents mit Wissensdatenbanken im Microsoft Foundry-Portal.

Gilt für: Blob-Indexer, Dateiindexer (Vorschau)

Standardmäßig behandelt ein Indexer den Inhalt eines Blobs oder einer Datei als einzelnes Suchdokument. Wenn Sie eine präzisere Darstellung in einem Suchindex wünschen, können Sie parsingMode-Werte festlegen, um mehrere Suchdokumente aus einem Blob oder einer Datei zu erstellen. Die ParsingMode-Werte, die zu vielen Suchdokumenten führen, sind delimitedText (für CSV) jsonArray oder (für jsonLines) oder markdown mit Untermodus oneToMany für Markdown.

Wenn Sie einen dieser Analysemodi verwenden, müssen die neuen Suchdokumente, die sich ergeben, über eindeutige Dokumentschlüssel verfügen, und ein Problem besteht darin, zu bestimmen, wo dieser Wert stammt. Das übergeordnete Blob hat mindestens einen eindeutigen Wert in Form von metadata_storage_path property, aber wenn es diesen Wert zu mehr als einem Suchdokument beiträgt, ist der Schlüssel nicht mehr eindeutig im Index.

Daher wird vom Blobindexer ein Azure Search-Dokumentschlüssel (AzureSearch_DocumentKey) erstellt, durch den jedes untergeordnete Suchdokument, das auf der Grundlage des einzelnen übergeordneten Blobs erstellt wird, eindeutig identifizierbar ist. In diesem Artikel wird erläutert, wie dieses Feature funktioniert.

Eins-zu-viele-Dokumentschlüssel

Ein Dokumentschlüssel identifiziert jedes Dokument in einem Index. Die standardmäßige Blob-Schlüsselzuordnung verwendet metadata_storage_path, aber der effektive Schlüssel hängt auch vom Analysemodus und von Zuordnungen ab. Überprüfen Sie das in diesem Artikel beschriebene analysierte Verhalten mit übereinstimmenden Schlüsseln, anstatt davon auszugehen, dass eine Standardzuordnung immer die endgültige Identität auswählt.

In einem Eins-zu-viele-Suchdokumentszenario ist ein impliziter Dokumentschlüssel, der auf metadata_storage_path property basiert, nicht möglich. Als Behelfslösung kann Foundry IQ (Azure KI-Suche) für jede einzelne aus einem Blob extrahierte Entität einen Dokumentschlüssel generieren. Das System generiert einen Schlüssel mit dem Namen AzureSearch_DocumentKey und fügt ihn jedem Suchdokument hinzu. Der Indexer verfolgt die "vielen Dokumente", die aus jedem Blob erstellt wurden, und kann auf Aktualisierungen des Suchindex abzielen, wenn sich Quelldaten im Laufe der Zeit ändern.

Wenn standardmäßig keine expliziten Feldzuordnungen für das Schlüsselindexfeld angegeben werden, wird AzureSearch_DocumentKey dem Feld mit der base64Encode Feldzuordnungsfunktion zugeordnet.

Ein generierter Schlüssel oder eine Base64-Transformation ist keine Autorisierungsgrenze. Wenn der Quellinhalt einen Schlüssel bereitstellt, überprüfen Sie, wer ihn steuern kann und ob andere Blobs oder Indexer denselben Wert verwenden können. Die Eindeutigkeit innerhalb eines Blobs reicht nicht aus. Siehe Dokumentidentität und Berechtigungs-Provenienz schützen.

Überdimensionierte Blobs erzeugen ein nur metadatengeschütztes Dokument

Wenn ein Blob-Indexer einen 1:n-Analysemodus verwendet, der auf true gesetzt ist, umgeht ein überdimensionaler Blob den Inhaltsteiler. Der Indexer erstellt ein Dokument, das nur Metadaten enthält, und nicht ein Dokument für jede Inhaltszeile.

Für dieses Dokument gibt es keinen analysierten Inhaltsschlüssel oder keine Zeilenordinalzahl. Die Rohschlüsselquelle fällt auf metadata_storage_path zurück. Vorhandene Schlüsseltransformationen, einschließlich Base64-Codierung, können den Wert ändern, der in das Indexschlüsselfeld geschrieben wird.

Blobs normaler Größe behalten ihr vorhandenes Schlüsselverhalten bei: einen konfigurierten, aus dem Inhalt abgeleiteten Schlüssel oder das generierte AzureSearch_DocumentKey, basierend auf dem Blob-Pfad und dem Zeilenordinal. In der folgenden Tabelle ist ein Ordner dargestellt, der beide Größen enthält. Es werden Rohquellen für Schlüssel angezeigt, nicht finale kodierte Indexschlüssel.

Quellinhalt Produzierte Dokumente Rohschlüsselquelle
Ein JSON-Zeilen-Blob in normaler Größe mit zwei Zeilen und generierten Schlüsseln. Zwei Inhaltsdokumente. Blobpfad plus der entsprechenden Zeilen-Ordnungszahl, z. B. {blob-path};{row-ordinal}.
Ein blob mit normaler Größe mit einem konfigurierten, eindeutigen Inhaltsschlüssel. Ein Dokument pro analysierter Zeile. Der konfigurierte Inhaltsschlüssel für jede Zeile.
Ein überdimensioniertes Blob mit aktiviertem Nur-Metadaten-Fallback. Ein reines Metadatendokument. metadata_storage_path, ohne Zeilenordnungszahl.

Die Enumerationsreihenfolge ändert die Schlüsselauswahl nicht. Ein Blob in normaler Größe behält seinen Inhalt oder generierte Schlüssel bei, unabhängig davon, ob es vor oder nach einem überdimensionierten Blob erscheint.

Die ACL-Erfassung wird nicht unterstützt, wenn Sie einen 1:n-Parsingmodus mit indexStorageMetadataOnlyForOversizedDocuments kombinieren. Diese Einschränkung gilt für JSON-Zeilen, JSON-Arrays, durch Trennzeichen getrennte Texte und die 1:n-Markdown-Analyse.

Wenn sich ein BLOB von normaler Größe in übergroß oder von überdimensional in normaler Größe ändert, ändert sich die Schlüsselauswahl. Dokumente, die unter den alten Schlüsseln gespeichert sind, werden nicht automatisch gelöscht und können vorherige Inhalte und ACL-Werte beibehalten. Gehen Sie nicht davon aus, dass das Erstellen der Ersetzungseinträge die alten Datensätze oder deren Berechtigungen entfernt. Planen Sie das explizite Löschen von Dokumenten oder eine entsprechende Indexneuerstellung, und bewahren Sie die Dokumentidentitäts- und Berechtigungsvertrauensgrenze auf.

Informationen zu den Konfigurationseinstellungs- und Quellgrößenbeschränkungen finden Sie unter Behandeln von Indexerfehlern.

Example

Gehen Sie von einer Indexdefinition mit den folgenden Feldern aus:

  • id
  • temperature
  • pressure
  • timestamp

Und Ihr BLOB-Container verfügt über Blobs mit der folgenden Struktur:

Blob1.json

{ "temperature": 100, "pressure": 100, "timestamp": "2024-02-13T00:00:00Z" }
{ "temperature" : 33, "pressure" : 30, "timestamp": "2024-02-14T00:00:00Z" }

Blob2.json

{ "temperature": 1, "pressure": 1, "timestamp": "2023-01-12T00:00:00Z" }
{ "temperature" : 120, "pressure" : 3, "timestamp": "2022-05-11T00:00:00Z" }

Wenn Sie einen Indexer erstellen und den parsingModejsonLines so festlegen, dass die folgende Zuordnung implizit angewendet wird, ohne explizite Feldzuordnungen für das Schlüsselfeld anzugeben.

{
    "sourceFieldName" : "AzureSearch_DocumentKey",
    "targetFieldName": "id",
    "mappingFunction": { "name" : "base64Encode" }
}

Dieses Setup führt zu mehrdeutigen Dokumentschlüsseln, ähnlich wie in der folgenden Abbildung (base64-codierte ID wurde aus Platzgründen gekürzt).

ID Temperatur Druck Zeitstempel
aHR0 ... YjEuanNvbjsx 100 100 2024-02-13T00:00:00Z
aHR0 ... YjEuanNvbjsy 33 30 2024-02-14T00:00:00Z
aHR0 ... YjIuanNvbjsx 1 1 2023-01-12T00:00:00Z
aHR0 ... YjIuanNvbjsy 120 3 2022-05-11T00:00:00Z

Benutzerdefinierte Feldzuordnung für Indexschlüsselfeld

Angenommen, es wird die gleiche Indexdefinition wie im vorherigen Beispiel verwendet, verfügt Ihr Blob-Container über Blobs mit der folgenden Struktur:

Blob1.json

recordid, temperature, pressure, timestamp
1, 100, 100,"2024-02-13T00:00:00Z" 
2, 33, 30,"2024-02-14T00:00:00Z" 

Blob2.json

recordid, temperature, pressure, timestamp
1, 1, 1,"2023-01-12T00:00:00Z"
2, 120, 3,"2022-05-11T00:00:00Z" 

Wenn Sie einen Indexer mit delimitedTextparsingMode erstellen, könnte es naheliegend sein, eine Feldzuordnungsfunktion für das Schlüsselfeld wie folgt festzulegen:

{
    "sourceFieldName" : "recordid",
    "targetFieldName": "id"
}

Diese Zuordnung führt jedoch nicht dazu, dass vier Dokumente im Index angezeigt werden, da das recordid Feld nicht über Blobs hinweg eindeutig ist. Deshalb wird empfohlen, dass Sie die implizite Feldzuordnung verwenden, die von der Eigenschaft AzureSearch_DocumentKey auf das Schlüsselindexfeld für 1:n-Analysemodi angewendet wird.

Wenn Sie eine explizite Feldzuordnung einrichten möchten, stellen Sie sicher, dass das sourceField für jede einzelne Entität in allen Blobs eindeutig ist.

Hinweis

Der Ansatz, der von AzureSearch_DocumentKey verwendet wird, um die Eindeutigkeit pro extrahierter Entität sicherzustellen, kann sich ändern. Daher sollten Sie sich nicht auf diesen Wert für die Bedürfnisse Ihrer Anwendung verlassen.

Angeben des Indexschlüsselfelds in Ihren Daten

Angenommen, die Indexdefinition entspricht dem vorherigen Beispiel und das parsingMode ist auf jsonLines eingestellt, ohne dass explizite Feldzuordnungen angegeben sind, sodass die Zuordnungen wie im ersten Beispiel aussehen. Angenommen, Ihr Blobcontainer verfügt über Blobs mit der folgenden Struktur:

Diese Beispiele veranschaulichen doppelte Schlüssel in mehreren Blobs, was für separate Datensätze keine empfohlene Konfiguration ist.

Blob1.json

{ "id": "1", "temperature": 100, "pressure": 100, "timestamp": "2024-02-13T00:00:00Z" }
{ "id": "2", "temperature": 33, "pressure": 30, "timestamp": "2024-02-14T00:00:00Z" }

Blob2.json

{ "id": "1", "temperature": 1, "pressure": 1, "timestamp": "2023-01-12T00:00:00Z" }
{ "id": "2", "temperature": 120, "pressure": 3, "timestamp": "2022-05-11T00:00:00Z" }

Jedes Dokument enthält das id Feld, das Sie als key Feld im Index definieren. In diesem Fall generiert das System ein AzureSearch_DocumentKey Dokument, verwendet es jedoch nicht als Schlüssel. Stattdessen wird der Wert des id Felds dem Schlüsselfeld zugeordnet.

Ähnlich wie im vorherigen Beispiel führt diese Zuordnung nicht dazu, dass vier Dokumente im Index angezeigt werden, da das id Feld nicht über Blobs hinweg eindeutig ist. Wenn diese Situation auftritt, bewirkt jeder JSON-Eintrag, der eine id angibt, eine Zusammenführung mit dem vorhandenen Dokument, anstatt ein neues hochzuladen. Der Index stellt dann den neuesten Zustand des Eintrags mit dem angegebenen id dar.

Einschränkungen

Wenn ein Dokumenteintrag im Index aus einer Zeile in einer Datei erstellt wird, wie in diesem Artikel erläutert, wird beim Löschen dieser Zeile aus der Datei nicht automatisch der entsprechende Eintrag aus dem Index entfernt. Um den Dokumenteintrag zu löschen, müssen Sie manuell eine Löschanforderung mithilfe des REST-API-Löschvorgangs an den Index senden.

Durch das Ändern von Schlüsselzuordnungen können Datensätze auch unter alten Schlüsseln verbleiben. Ein generierter Schlüssel, das Zurücksetzen oder die Berechtigungsaktualisierung stellen keinen Dokumentbesitz her. Belassen Sie die Schlüsselauswahl unter der Kontrolle autorisierter Ingestion-Writer. Siehe auch: Dokumentidentität und Berechtigungsherkunft schützen.

Nächste Schritte

Wenn Sie noch nicht mit der grundlegenden Struktur und dem Workflow der Blobindizierung vertraut sind, sollten Sie zuerst den Artikel Azure Blob Storage mit Foundry IQ indizieren lesen. Weitere Informationen über Auswertungsmodi für verschiedene BLOB-Inhaltstypen finden Sie in den folgenden Artikeln.