Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Note
Foundry IQ (Azure KI-Suche) bietet direkte Indizierungs- und Abfrage-APIs zusammen mit Wissensquellen- und Knowledge Base-APIs auf höherer Ebene für den verwalteten Abruf. Verwenden Sie das Azure Portal, REST-APIs oder Azure SDKs, um diese Funktionen zu konfigurieren, oder verbinden Sie Agents mit Wissensdatenbanken im Microsoft Foundry-Portal.
Eine Einbettungsmodellmigration ändert, wie Ihre Foundry IQ (Azure KI-Suche)-Anwendung Dokumente und Abfragen als Vektoren darstellt. Sie können migrieren, da ein Modell eingestellt wird oder weil sich Ihre Anforderungen für Relevanz, Sprachabdeckung, Latenz, Durchsatz, Kosten oder Datenresidenz ändern. Bewerten Sie Ersatzmodelle anhand Ihres Workloads, anstatt davon auszugehen, dass ein neueres Modell besser ist.
In diesem Leitfaden für bewährte Methoden können Sie einen Migrationsansatz auswählen, Embeddings neu generieren, Ergebnisse überprüfen und den Produktions-Traffic umschalten. Erstellen und testen Sie für die meisten Produktionsmigrationen einen separaten Zielindex, während der vorhandene Index beibehalten wird. Fügen Sie bei einer Migration desselben Indexes ein neues Vektorfeld hinzu, und behalten Sie das alte Feld bei, anstatt es zu überschreiben; Behalten Sie beide Felder während der Validierung und des Rollback-Fensters bei. Ihre Quelldaten, Aktualitätsanforderungen, verfügbare Kapazität und Toleranz für Unterbrechungen bestimmen, wie Sie den neuen Index oder das neue Feld auffüllen und wechseln.
Prerequisites
- Eine vorhandene Vektor- oder Hybridsuchanwendung, einschließlich Des Zugriffs auf das Indexschema, die Aufnahmekonfiguration und die Abfragekonfiguration.
- Autoritative Quelldaten, die Sie erneut verarbeiten können, oder einen vollständigen Export der für die Migration erforderlichen indizierten Inhalte.
- Eine Bereitstellung eines Ersatzeinbettungsmodells mit überprüften Dokument- und Abfrageschnittstellen. Überprüfen Sie für Modelle in Microsoft Foundry den aktuellen Einstellungszeitplan.
- Berechtigungen zum Verwalten von Indizes und Lesen oder Schreiben von Dokumenten sowie autorisierung zum Aufrufen des Ersetzungsmodells oder benutzerdefinierten Endpunkts.
- Suchkapazität und Modellkontingent für die Migrationsworkload, einschließlich temporärer doppelter Indizes oder Vektorfelder.
- Repräsentative Evaluierungsabfragen, erwartete Zugriffsentscheidungen und geschäftliche Akzeptanzkriterien.
- Ein Plan für gleichzeitige Änderungen an der Quelle, die Umstellung und das Rollback.
Auswählen eines Migrationsansatzes
Entscheiden Sie zunächst, wo Ersetzungsvektoren gespeichert werden sollen und wo der einzubettende Inhalt abgerufen werden soll.
| Approach | Auswählen, wann | Anforderungen und Kompromisse | Kostenaspekte |
|---|---|---|---|
| Einen separaten Index aus den Quelldaten neu erstellen | Sie verwenden integrierte Indexer oder benötigen eine erneute Verarbeitung der Quelldaten oder eine neue Segmentierung/Anreicherung. | Neuer Index und Indexer für Indexer-Pipelines; unabhängige Überprüfung und Nachführung bei Quelländerungen. | Embeddings für den gesamten Korpus, Lesezugriffe auf Quellen, anwendbare kostenpflichtige Anreicherung und doppelte Indexkapazität. |
| Erneutes Einbetten exportierter Indexinhalte in einen separaten Index | Sie verwalten die Push-Ingestion und können passenden Text oder Blöcke vollständig exportieren. | Überprüfen Sie die Schemaeignung und Exportkonsistenz. Die Beispiele erfordern eingefrorene Schreibvorgänge während der Sicherung. | Ersatz-Embeddings, Exportspeicherplatz, Hosting von Adaptern und doppelte Indexkapazität. |
| Fügen Sie dem vorhandenen Index ein zweites Vektorfeld hinzu | Sie verwalten die Push-Ingestion und möchten Inhalte freigeben, während alte Vektoren beibehalten werden. | Neues Feld/Profil, begrenztes Backfill und koordinierte schreibende Prozesse. Siehe das Second-Field-Verfahren. | Ersatz-Embeddings, doppelte Vektoren, Backfill-Schreibvorgänge und möglicher Scale-out. Dual-Write fügt fortlaufende Embedding-Arbeit hinzu. |
Verwenden Sie die ersten beiden Ansätze für die Verfahren für einen separaten Index, oder folgen Sie dem Verfahren mit dem zweiten Feld für eine Migration mit demselben Index. Behalten Sie in diesem Ansatz die alten und neuen Felder nebeneinander durch die Überprüfung und das Rollbackfenster bei. Die Abmessungen eines Vektorfelds können nach dem Erstellen des Felds nicht geändert werden. Erstellen Sie daher ein neues Feld oder einen neuen Index mit den Dimensionen des Ersatzmodells. Weitere Informationen zum Aktualisieren oder Neuerstellen eines Indexes finden Sie in Bezug auf unterstützte Schemaänderungen und in den Beispielworkflows zur aktuellen und geplanten Abdeckung der Beispiele.
Wenn die integrierten Indexer von Foundry IQ Ihren Index auffüllen, verwenden Sie Aus autoritativen Quelldaten neu erstellen. Für diesen Migrationspfad ist eine vollständige Neuerstellung aus der Quelle in einem neuen Index mithilfe eines neuen Indexers erforderlich. Die Export- und Second-Field-Alternativen in diesem Leitfaden dienen der anwendungsverwalteten Pushaufnahme, nicht der Migration über eine vorhandene Indexerpipeline.
Eine identische Sicherung und Wiederherstellung kann dazu beitragen, die Wiederherstellung zu testen, aber es wird kein Einbettungsmodell migriert. Es kopiert nur vorhandene Vektoren.
Auswählen, wie gleichzeitige Änderungen behandelt werden sollen
Entscheiden Sie separat, wie Inhalte beim Generieren von Ersetzungseinbettungen auf dem aktuellen Stand bleiben sollen.
| Strategy | Auswählen, wann | Erforderliche Steuerelemente | Kostenaspekte |
|---|---|---|---|
| Schreibvorgänge anhalten | Ein Wartungsfenster oder eine verzögerte Aktualität ist akzeptabel. | Beenden Sie anwendbare Indexer, Push-Writer, Updates, Löschungen und Schemaänderungen. Berücksichtigen Sie vor dem Fortsetzen des normalen Vorgangs die vorgelagerten Änderungen. | Vermeiden Sie die gleichzeitige alte und neue Generation während der Pause, aber planen Sie Kapazität für die Nachholverarbeitung und die geschäftlichen Auswirkungen verzögerter Aktualität ein. |
| Erstellen Sie aus einem konsistenten Quell-Snapshot und geben Sie Änderungen wieder | Sie benötigen ein kurzes Umstellungsfenster und verfügen über einen dauerhaften Änderungsstream. | Verfolgen Sie ein Start-Wasserzeichen und wiederholen Sie Erstellungen, Aktualisierungen, Löschungen und Berechtigungsänderungen. Gleichen Sie das Ziel vor der Umschaltung ab. | Momentaufnahmespeicher, Änderungserfassung, Wiederholung und Abgleich. Wiederholte Änderungen können zusätzliche Einbettungen erfordern. |
| Alte und neue Ingestionspfade beibehalten | Kontinuierliche Frische rechtfertigt den zusätzlichen Entwicklungsaufwand und die Kapazität. | Generieren Sie modellspezifische Vektoren für beide Indizes oder beide Felder. Koordinieren Sie Schreibvorgänge für dasselbe Dokument und behandeln Sie Wiederholungen, teilweise Fehler, Löschvorgänge und Berechtigungsänderungen. | Beide Modelle verarbeiten anwendbare Änderungen. Berücksichtigen Sie zusätzliche Schreibvorgänge, Wiederholungen, beibehaltene Kapazität und den Abstimmungsaufwand. |
Diese Entscheidungen sind Entscheidungen zur Ingestionsarchitektur, nicht automatische Migrationsfunktionen. Suchexporte sind keine Transaktionsmomentaufnahmen, und die Migrationsbeispiele erfassen und wiedergeben gleichzeitige Änderungen nicht. Das Schreiben in zwei Indizes ist keine atomische Operation.
Bei zwei Feldern in einem Index bedeutet Dual-Write, dass beide Einbettungen für jedes geänderte Dokument aktuell bleiben. Es ist nicht erforderlich, wiederholt den gesamten Korpus einzubetten. Verwenden Sie eine begrenzte Nachbefüllung mit Fortschritts- und Konsistenzsteuerelementen.
Bei integrierten Indexern bedeutet die parallele Erfassung, dass die alte Pipeline beibehalten wird, während ein neuer Indexer den neuen Index aus der Quelle auffüllt. Es bedeutet nicht, ein zweites Feld über den vorhandenen Indexer nachträglich aufzufüllen.
Das Onlinehalten von Abfragen mit dem alten Index hält diesen Index nicht unbedingt aktuell. Definieren Sie sowohl Ihre Verfügbarkeitsanforderung als auch Ihre akzeptable Datenverzögerung.
Migrationskosten schätzen
Trennen Sie einmalige Kosten für die Nachbefüllung, temporäre Überlappungskosten und laufende Betriebskosten. Kein Ansatz ist nicht immer am billigsten: Das Freigeben von Text und Metadaten in einem Index reduziert die Duplizierung, aber zwei Vektorfelder verbrauchen weiterhin die Vektorkapazität.
- Richten Sie die aktuelle Produktionsausgangsbasis und die erwarteten Migrations- und Rollbackzeiträume ein. Trennen Sie zusätzliche Migrationsausgaben von den Kosten, die Für die vorhandene Anwendung bereits anfallen.
- Messen Sie einen repräsentativen Pilottest, bevor Sie den vollständigen Korpus schätzen. Quellvolumen, generierte Blöcke, vom Anbieter abgerechnete Embedding-Nutzung, Wiederholungen, Indexgröße und verstrichene Verarbeitungszeit. Verwenden Sie die Abrechnungseinheiten des tatsächlichen Anbieters; gehen Sie nicht davon aus, dass jedes Modell nach Tokens abgerechnet wird.
- Schätzen Sie die initiale Neuerstellung oder das Auffüllen. Berücksichtigen Sie Ersatzeinbettungen, Quelllesevorgänge oder -exporte, anwendbare Analyse und kostenpflichtige Anreicherung, Artefaktspeicher, Adapterhosting und Datenübertragung. Für einen neuen Indexer sollten Sie das vollständige Laden der Quelle einplanen, statt anzunehmen, dass der alte Anreicherungscache diese Arbeit beseitigt. Fehlgeschlagene oder wiederholte Verarbeitung kann weiterhin Gebühren verursachen.
- Schätzen Sie temporäre Überlappungen und Validierung. Fügen Sie zusätzliche Suchkapazität, alte/neue Aufnahme für geänderte Inhalte, Cache-Misses und Warm-up, Auswertungsabfragen, anwendbare Premium-Abfragefeatures und Rollbackaufbewahrung hinzu. Wiederholungsversuche und Abstimmung zulassen. Die Drosselung kann den Überlappungszeitraum und die zeitbasierten Ressourcenkosten verlängern.
- Schätzen Sie die Kosten im stabilen Regelbetrieb nach der Umstellung. Vergleichen Sie die fortlaufende Nutzung von Dokument- und Abfrageeinbettungen, die Suchkapazität, den Vektorspeicher und die Adapterkosten des Ersetzungsmodells mit dem Basisplan. Alte Ressourcen erst nach Annahme und nach Ablauf des Rollbackfensters zurückziehen.
Wenden Sie das Abrechnungsmodell richtig an:
- Dedizierte Suche: Gebühren hängen von der bereitgestellten Kapazität und deren Aufbewahrungsdauer ab. Ein zweites Index- oder Vektorfeld verdoppelt nicht automatisch die Suchrechnung oder fügt eine Gebühr pro Index, pro Feld oder eine Schreibgebühr hinzu. Überprüfen Sie, ob vorhandene Kapazität die Spitzenauslastung bewältigen kann; Zusätzliche Replikate, Partitionen oder ein anderer Dienst können die Kosten erhöhen. Modellaufrufe und andere abrechenbare Dienste werden separat abgerechnet.
- Serverlose Suche, falls unterstützt: Rechenleistung und indizierter Speicher werden nach Nutzung abgerechnet. Berücksichtigen Sie auch Indizierungs- und Abfragevorgänge, nicht nur gespeicherte Vektoren. Überprüfen Sie die aktuellen Ebenenbeschränkungen und Netzwerkbeschränkungen, anstatt die Unterstützung für jedes Migrationsszenario anzunehmen.
Verwenden Sie Search cost guidance, Kapazitätsplanung und aktuelle Foundry IQ-Preise. Rufen Sie Modellpreise aus den Preisinformationen der ausgewählten Bereitstellung ab. Legen Sie ein Budget und Warnungen fest, überwachen Sie die tatsächliche Nutzung während der Migration, und untersuchen Sie unerwartete Neuverarbeitung, bevor Sie die Workload erweitern.
Überprüfen Sie nach dem Löschen alter Vektoren, ob Replikate oder Partitionen reduziert werden können, ohne Ihre Workloadanforderungen zu beeinträchtigen. Die Speicherbereinigung allein senkt keine dedizierten Suchgebühren. Schließen Sie alle verbleibende Aufbewahrung von Artefakten oder Cache-Daten in das Budget nach der Migration ein.
Definition des Vertrags für das Ersatz-Embedding
Dokumentieren Sie für jedes Vektorfeld die Einstellungen, die beim Indizieren und Abfragen zusammen verwendet werden müssen:
- Modellidentität, Version, Bereitstellung, Endpunkt und API-Vertrag.
- Ausgabeabmessungen und eine entsprechende Ähnlichkeitsmetrik.
- Eingabevorverarbeitung, Chunking, Abschneiden und Normalisierung.
- Anbieterspezifische Dokument- und Abfrageaufgabeneinstellungen, falls erforderlich.
- Authentifizierung, Netzwerkzugriff und regionale Verfügbarkeit.
Das Ändern eines Vektorizers oder Bereitstellungsnamens generiert keine indizierten Vektoren. Zum Ändern von Einbettungsräumen generieren Sie Dokumenteinbettungen erneut aus dem gewünschten Text, den gewünschten Bildern oder anderen Eingaben. Gleiche Vektordimensionen stellen keine Kompatibilität zwischen Modellen her.
Halten Sie jedes Vektorfeld kompatibel mit dem Modell, das zum Generieren seiner Abfragevektoren verwendet wird. Speichern Sie bei einer Migration mit demselben Index Ersatzeinbettungen in einem separaten Feld, auch wenn die Dimensionen übereinstimmen, damit Sie Ergebnisse vergleichen und die alten Vektoren für rollback verfügbar halten können. Wählen Sie für die integrierte Vektorisierung ein unterstütztes Paar aus Skill und Vektorisierer aus. Wenn für den Ersatz ein benutzerdefinierter Adapter erforderlich ist, überprüfen Sie sowohl die Indexierungs-Skill- als auch die Vertragsdefinitionen des Abfragevektorisierers.
Wenn Sie auch das Chunking ändern, vergleichen Sie diese Änderung, wo praktikabel, separat, damit Sie seine Auswirkungen von der Modelländerung unterscheiden können. Überprüfen Sie Komprimierungs- und Ähnlichkeitseinstellungen, anstatt davon auszugehen, dass einstellungen für das alte Modell geeignet bleiben.
Behandeln von Caches während der Migration
Caches in den Aufnahme- und Abfragepfaden erfassen. Durch das Wechseln eines Modell-, Vektorfeld- oder Indexalias werden vom Anwendungsverwaltete Caches nicht automatisch ungültig.
- Indexeranreicherungscache (Vorschau): Dieser Cache gehört zu seinem Indexer, nicht zum Anwendungsabfragepfad. Gehen Sie nicht davon aus, dass Sie sie in einen neuen Indexer übertragen können. Folgen Sie den Überlegungen zur Neuverarbeitung; Zwischengespeicherte alte Modellvektoren ersetzen nicht das Generieren neuer Einbettungen.
- Anwendungsverwaltete Dokumenteinbettungen: Einen Eintrag nur wiederverwenden, wenn der Eingabeinhalt und der Embedding-Vertrag übereinstimmen. Fügen Sie die Quellrevision oder den Inhalts-Hash und die Vertragsversion in den Cacheschlüssel ein. Geändertes Chunking oder Vorverarbeitung können zuvor zwischengespeicherte Einbettungen ungültig machen.
- Anwendungsverwaltete Abfrageeinbettungen: Einträge nach Abfrageeingabe und Einbettungsvertrag indizieren, nicht nur nach dem Abfragetext. Ein Bereitstellungsname oder -endpunkt kann unverändert bleiben, während sich das Modell ändert. Halten Sie die Einstellungen für Dokument- und Abfrageaufgaben getrennt, wenn der Anbieter dies verlangt.
- Anwendungsverwaltete Suchergebnisse oder Antworten: Berücksichtigen Sie die Zielindexgenerierung, das Vektorfeld, die Abfragekonfiguration, Filter und den Autorisierungskontext. Machen Sie betroffene Einträge ungültig, wenn sich Quellinhalte oder Berechtigungen ändern. Stellen Sie zwischengespeicherte Inhalte nur bereit, wenn der aktuelle Zugriff des anfordernden Benutzers weiterhin gültig ist.
Verwenden Sie eine explizite Einbettungs-Vertragsversion, die Modellidentität/-version, Dimensionen, Aufgabeneinstellungen und Vorverarbeitung abdeckt. Halten Sie alte und neue Anwendungscachenamespaces während der Überschneidung und bei Rollbacks getrennt.
Wenn sich ein Modell hinter einem benutzerdefinierten Qualifikationsendpunkt ohne erkennbare Skillsetänderung ändert, können zwischengespeicherte Ausgaben veraltet bleiben. Folgen Sie dem dokumentierten Verfahren zur Invalidierung und Neuverarbeitung von Skills für betroffene Fähigkeiten und deren Abhängigkeiten. Dieses Verfahren ersetzt nicht den Neuaufbau der New-Indexer-Quelle, der für den Indexer-Migrationspfad erforderlich ist.
Budget für Cachespeicher, Ersatzmodellaufrufe bei Cache-Fehlzugriffen und Warm-up-Traffic. Testen Sie sowohl Cold- als auch Warm-Pfade vor der Umschaltung; ein warmer Cache darf kein inkompatibles Modell, veraltetes Dokument oder eine falsche Zugriffsentscheidung ausblenden.
Planen Sie die Außerbetriebnahme von Cohere Embed v3
Der Einstellungszeitplan für das Foundry-Modell listet den 15. November 2026 als veraltetes Datum für Cohere-embed-v3-english und Cohere-embed-v3-multilingual. Beide Modelle werden am 15. Februar 2027 eingestellt. Die aufgeführten Ersetzungen sind Cohere-embed-v5-fast und Cohere-embed-v5-pro. Überprüfen Sie den Zeitplan für Updates bei der Planung Der Migration.
Schließen Sie die Migration ab, und testen Sie die Migration vor der Außerbetriebnahme, sodass Zeit zum Beheben von Fehlern und Testen des Rollbacks besteht, während das alte Modell verfügbar bleibt.
- Identifizieren Sie Aufnahmepipelinen und Abfragepfade, die entweder das reaktivierende Modell verwenden, einschließlich clientseitiger Abfrageeinbettungsgenerierung.
- Bewerten Sie die Ersatzmodelle anhand repräsentativer Abfragen und Ihrer Qualität, Latenz, Durchsatz, Sprache und Kostenanforderungen. Stellen Sie den ausgewählten Ersatz in Microsoft Foundry bereit, und überprüfen Sie seine Dokument- und Abfrageschnittstellen und Ausgabeabmessungen.
- Wählen Sie einen Migrationsansatz aus. Integrierte Indexerpipelinen erfordern eine vollständige Neuerstellung der Quelle mit einem neuen Index und Indexer. Für die Push-Erfassung verwenden Sie vorzugsweise einen separaten Zielindex, oder fügen Sie ein zweites Feld mit Konsistenzkontrollen hinzu. Generieren von Dokumentvektoren; Kopieren Sie v3-Vektoren nicht, und ändern Sie nur das Abfragemodell.
- Konfigurieren Sie für die Pushaufnahme mit den Beispielen Python oder .NET das ausgewählte
fastModell undprodie authentifizierte Einbettungsfunktion. In diesen Beispielen wird ein benutzerdefinierter Web-API-Vektorisierer verwendet; ein in Foundry aufgeführter Ersatz bedeutet nicht, dass er in einem vorhandenen nativen Search-Skill oder Vektorisierer unterstützt wird. - Schließen Sie Daten-, Zugriffs- und Abruftests ab und leiten Sie dann den Datenverkehr um. Aktualisieren Sie die fortlaufende Erfassung und die Generierung von Query-Embeddings gleichzeitig.
Wählen Sie eine v5-Variante aus.
Wählen Sie eine Variante basierend auf der Workload, die Sie testen, aus, nicht nur auf dem Modellnamen. Hinweise zu Funktionen und Workloads finden Sie unter Cohere Embed V5 in Microsoft Foundry.
| Variante | Workload-Prioritäten | Beispiel-Bereitstellungsname |
|---|---|---|
| v5 Fast einbetten | Latenzsensitive interaktive Such- und reaktionsschnelle Agent-Erlebnisse. | cohere-embed-v5-fast-sls |
| Embed v5 Pro | Abrufqualität für Anwendungen, bei denen das Auffinden der relevantesten Informationen die Priorität ist. | cohere-embed-v5-pro-sls |
Fast und Pro teilen sich einen Embedding-Raum, aber diese Kompatibilität gilt nicht für vorhandene v3-Vektoren. Generieren Sie v3-Dokumenteinbettungen für die v5-Migration neu. Überprüfen Sie Dimensionen, Einstellungen für Dokument-/Abfrageaufgaben, Relevanz, Latenz und Kosten für die ausgewählte Konfiguration.
Rufen Sie den Cohere-Anbieterendpunkt auf
Die direkte Cohere-Einbettungsanforderung verwendet dieses Endpunktmuster: POST https://<foundry-resource>.services.ai.azure.com/providers/cohere/v2/embed.
Ersetzen Sie <foundry-resource> durch den Namen Ihrer Foundry-Ressource. Legen Sie den model-Wert der Anforderung auf den Bereitstellungsnamen Ihres bereitgestellten Modells fest, beispielsweise cohere-embed-v5-fast-sls oder cohere-embed-v5-pro-sls. Beide Varianten verwenden dieselbe Anbieterroute. Die Namen in der vorherigen Tabelle sind Beispiele, keine erforderlichen Bereitstellungsnamen.
Folgen Sie den Migrationsbeispielen für die Request-Payload, die API-Version und die Authentifizierungskonfiguration. Verwenden Sie die Dokumentaufgabe beim Indizieren und die Abfrageaufgabe beim Generieren von Abfragevektoren.
Dieser Anbieterendpunkt ist nicht der Endpunkt des Search Custom Web API-Vectorizers. Behalten Sie im Beispielworkflow den Vektorisierer auf der Abfrageroute der authentifizierten Funktion. Die Funktion passt die Suchanforderung an die Cohere-Anbieteranforderung an.
Bereiten Sie die Ziel- und Quelldaten vor
Bereiten Sie die Konfigurations- und Konsistenzkontrollen vor dem Starten der Migration vor.
- Inventarisieren Sie Ihre Indexfelder, Dokumentschlüssel, Beziehungen zwischen übergeordneten und untergeordneten Elementen, Vektorprofile, Komprimierung, Analysetools, semantische Konfiguration und Bewertungsprofile. Identifizieren Sie Anwendungen, Indexer, Wissensquellen und andere Verbraucher, die von ihnen abhängig sind.
- Erstellen Sie einen Migrationsdatensatz mit den Quell- und Zielindex- oder Vektorfeldnamen, Einbettungsvertrag, erwarteten Schemaänderungen, Synchronisierungsstrategie und Akzeptanzkriterien.
- Konfigurieren Sie die Zielautorisierung und den Netzwerkzugriff. Unterscheiden Sie den Migrationsoperator, die Suchidentität, die einen Einbettungsendpunkt aufruft, und jede zwischengeschaltete Identität, die das Modell aufruft. Ein erfolgreicher Aufruf des lokalen Modells beweist nicht, dass Search Zugriff hat.
- Legen Sie die für Ihre Migration ausgewählte Grenze für Schreibsperre, Quellsnapshot oder Änderungswiedergabe fest.
- Definieren Sie das Zielschema. Reservieren Sie für eine Separate-Index-Migration einen neuen Indexnamen, und erstellen Sie ihn über den ausgewählten Workflow. Für den Export- und Wiederherstellungsworkflow der Beispiele darf das Ziel nicht existieren: Beim Wiederherstellen wird es erstellt, und das Überschreiben eines vorhandenen Index wird verweigert. Planen Sie für eine Migration eines zweiten Feldes stattdessen die Ergänzungen des vorhandenen Schemas.
Löschen Sie den Produktionsindex nicht, um Platz zu schaffen, ohne dass ein separater, überprüfter Verfügbarkeits- und Wiederherstellungsplan vorliegt. Schützen Sie exportierte Dokumente und Migrationsartefakte mit Zugriffssteuerungen und Aufbewahrungsrichtlinien, die für den Quellinhalt geeignet sind. Committen Sie sie nicht in Quellcode-Repositorys.
Indexdefinitionen, die von GET oder LIST zurückgegeben werden, sind keine Sicherungen von Anmeldeinformationen. Erstellen Sie erforderliche Abhängigkeiten neu, und geben Sie die Zielauthentifizierung explizit an. Informationen zu Indexverwaltungsaufgaben finden Sie unter Verwalten von Suchindizes.
Dokumentidentität und Zugriffssteuerung beibehalten
Bewahren Sie Dokumentidentitäten und ihre zugehörigen Inhalte, Metadaten und Berechtigungen zusammen. Wenn sich Chunking oder Schlüsselgenerierung ändern, sollten Sie mit veralteten übergeordneten und untergeordneten Datensätzen umgehen, anstatt davon auszugehen, dass neue Schreibvorgänge sie entfernen.
Für geschützte Inhalte behalten Sie den unterstützten Connector oder den vertrauenswürdigen Ingestionsprozess bei, der Berechtigungen bereitstellt. Das Kopieren eines Felds mit einem berechtigungsähnlichen Namen erstellt keine vom Connector abgeleitete Berechtigungsherkunft. Überprüfen Sie die Anforderungen Ihres Zugriffsflusses auf Dokumentebene, bevor Sie eine Export-und-Push-Migration auswählen.
Gehen Sie nicht davon aus, dass die allgemeinen Migrationsbeispiele jeden berechtigungsfähigen oder generierten Wissensquellindex unterstützen. Wenn Sie keine unterstützte, vollständige Übertragung herstellen können, erstellen Sie sie im entsprechenden Quell-Ingestionsprozess neu. Überprüfen Sie den effektiven Zugriff, bevor Sie das Ziel für Anwendungen verfügbar machen.
Exportberechtigung prüfen
Wenn Sie von einem vorhandenen Index statt maßgeblichen Quelldaten migrieren, überprüfen Sie jedes Feld, das zum Neuerstellen der Dokumente erforderlich ist.
- Sie müssen in der Lage sein, den erforderlichen Inhalt abzurufen. Ein Indexexport kann keine Quelltexte oder Metadaten wiederherstellen, die er nicht lesen kann.
- Sie können Vektoren durch den Dokumentabruf mit
stored: falsenicht wiederherstellen. Das Ändern vonretrievablemacht sie nicht exportierbar. - Die Paging-Anforderungen der Stichprobe müssen mit dem Schlüsselfeld und der Größe des Korpus übereinstimmen. Python und .NET haben keine identischen Paginierungsregeln.
- Der Export muss den vollständigen beabsichtigten Dokumentensatz enthalten, nicht nur Dokumente, die für eine eingeschränkte Suchidentität sichtbar sind.
Bei Feldern mit gespeicherten Inhalten kann die Änderung der Abrufbarkeit unterstützt werden, ändert aber auch, was Abfragen zurückgeben können. Machen Sie vertrauliche Felder nicht allgemein verfügbar, nur um ein Beispiel zu erfüllen. Siehe Vektorspeicheroptionen für den Unterschied zwischen stored und retrievable.
Generieren und Laden von Ersetzungseinbettungen
Befolgen Sie das Verfahren für ihren ausgewählten Ansatz. Belassen Sie die Produktions-Lesezugriffe auf dem vorhandenen Index und dem alten Vektorfeld, bis der Ersatz die Validierung bestanden hat. Nur für den Ersatz-Embedding-Vertrag konfigurierte Ingestionspfade sollten Ersatzvektoren schreiben.
Neuerstellung aus autoritativen Quelldaten
Verwenden Sie diesen Prozess für integrierte Foundry IQ-Indexer. Verwenden Sie diesen Prozess auch für die anwendungsverwaltete Erfassung, wenn Quelldaten und Metadaten erneut verarbeitet werden können oder das Parsen, Chunking oder die Anreicherung geändert werden müssen.
Bei einer indexerbasierten Migration werden beim Ändern der vorhandenen Vektorizer- oder Modellbereitstellung keine Ersetzungseinbettungen zurückgefüllt. Erstellen Sie eine neue Pipeline, die den vollständigen Quellkorpus verarbeitet. Lassen Sie den vorhandenen Index und die vorhandene Pipeline verfügbar, bis das Ersatzmodell die Validierung bestanden hat.
Wenn das Ersatzmodell nicht über ein unterstütztes integriertes Einbettungsfertigkeits- und Vektorizerpaar verfügt, behalten Sie den integrierten Indexer bei, und fügen Sie der neuen Pipeline eine benutzerdefinierte Integration hinzu:
- Indizierung: Fügen Sie dem neuen Skillset eine benutzerdefinierte Web-API-Fähigkeit hinzu. Der Endpunkt generiert Dokumenteinbettungen mit dem Ersatzmodell. Ordnen Sie die Ausgabe dem neuen Vektorfeld entsprechend über Ausgabefeldzuordnungen oder Indexprojektionen zu.
- Abfrage: Konfigurieren Sie einen benutzerdefinierten Web-API-Vektorizer im neuen Index, und verweisen Sie ihn über das Profil des Vektorfelds. Der Endpunkt generiert kompatible Abfrageeinbettungen für Textvektorabfragen. Wenn Ihre Anwendung Abfragevektoren direkt sendet, aktualisieren Sie stattdessen ihren Einbettungsgenerator.
Implementieren Sie Adapterendpunkte, die die Anforderungs- und Antwortverträge für Skill und Vectorizer erfüllen. Verweisen Sie keine Komponente auf eine unformatierte Modell-API, es sei denn, diese API implementiert den erforderlichen Search contract. Verwenden Sie für beide Pfade denselben Ersatz-Embedding-Vertrag mit den entsprechenden Dokument- und Abfrageaufgabeneinstellungen.
Konfigurieren Sie die Authentifizierung und den Netzwerkzugriff separat für Search-to-Adapter- und Adapter-to-Model-Aufrufe. Überprüfen Sie die Generierung von Dokument-Embeddings und die Abfragevektorisierung durch die tatsächliche Search-Identität, bevor Sie den vollständigen Ladevorgang starten.
- Erstellen Sie den neuen Zielindex mit dem Ersatzvektorfeld und dem Ersatzvektorprofil. Belassen Sie Produktionsabfragen auf dem bestehenden Index.
- Wenn Einbettungen in einem Skillset generiert werden, erstellen Sie ein separates Skillset für das Ersatzmodell und überprüfen die Indexprojektionsziele. Ändern Sie ein gemeinsam genutztes Produktions-Skillset nicht so, dass die alte Pipeline auf das neue Modell umgestellt wird.
- Konfigurieren Sie die Generierung von Dokumenteinbettungen und die Vektorisierung von Abfragen mit dem Ersatzkontrakt. Behalten Sie die Quellberechtigungen bei, die den entsprechenden Dokumenten und Chunks zugeordnet sind. Befolgen Sie für die indexerbasierte integrierte Vektorisierung die Anleitung Integrierte Vektorisierung einrichten. Für anwendungsgenerierte Vektoren folgen Sie Einbettungen generieren.
-
Erstellen Sie für integrierte Indexer einen neuen Indexer mit der Quellverbindung, dem neuen Zielindex, dem Ersatz-Skillset, sofern zutreffend, und Feld-/Ausgabezuordnungen. Legen Sie
disabledwährend der Einrichtung auftruefest; andernfalls wird bei der Erstellung sofort eine Ausführung gestartet. - Überprüfen Sie eine repräsentative Testladung, bevor Sie die vollständige Ladung starten. Verwenden Sie für integrierte Indexer eine separate Testpipeline mit eingeschränktem Quellbereich. Lassen Sie den Vollquellenmigrationsindexer deaktiviert, bis Sie für die vollständige Verarbeitung bereit sind.
- Verarbeiten Sie den vollständigen Korpus über die neue Pipeline. Planen Sie für integrierte Indexer die Neuverarbeitung, aktivieren Sie den Migrationsindexer und führen Sie ihn aus, und überwachen Sie den Ausführungsverlauf, Fehler und Warnungen. Prüfen Sie die Ergebnisse der Indizierung pro Dokument für die Pushingestion. Beheben Sie Fehler, bevor Sie den Ladevorgang als abgeschlossen erklären.
- Wenden Sie die von Ihrem Synchronisierungsplan erforderlichen Quelländerungen an, einschließlich Löschungen und Berechtigungsänderungen.
Das Zielsystem ist bereit für Abnahmetests, wenn der beabsichtigte Korpus geladen wird und Änderungen über Ihren vereinbarten Synchronisierungspunkt berücksichtigt werden.
Neuverarbeitung des Indexers planen
Eine vollständige Quellneuerstellung ist mehr als das Kopieren von Dokumenten in einen neuen Index. Planen Sie den anfänglichen Verarbeitungsaufwand, nachfolgende Änderungen und die Wiederherstellung nach unterbrochenen Ausführungen.
- Anfängliches Laden: Der neue Indexer verfügt über einen eigenen Verarbeitungsstatus. Planen Sie Ressourcen für Quelllesevorgänge, Analyse, die Aufteilung in Chunks, anwendbare Anreicherung und Ersatz-Embeddings im gesamten vorgesehenen Korpus ein. Konfigurieren Sie das Ersatzmodell vor diesem Ladevorgang; warten Sie nicht, bis sich Quelldokumente ändern, bevor ihre Vektoren neu generiert werden.
- Inkrementelle Ausführungen: Nach dem anfänglichen Laden verwenden normale Ausführungen das unterstützte Änderungserkennungsverhalten der Quelle. Sie sind keine Anforderungen, um jeden Vektor neu zu generieren. Überprüfen Sie, wie Aktualisierungen, Löschungen und Berechtigungsänderungen den neuen Index erreichen, bevor Sie sich auf den Zeitplan verlassen.
- Anreicherungszwischenspeicherung: Der Anreicherungscache ist ein Vorschaufeature, das pro Indexer verwaltet wird. Gehen Sie nicht davon aus, dass der Cache des alten Indexers auf die neue Pipeline übertragen wird oder dass der Neuaufbau inkrementell erfolgt. Befolgen Sie die Richtlinien für die Cacheverarbeitung, wenn sich Modelleingaben oder das Verhalten von Skills ändern.
- Wiederholungen und Zurücksetzungen: Gehen Sie nicht von Exactly-once-Verarbeitung oder einem Modellaufruf pro Block aus. Unterbrechungen und Wiederholungsversuche können die Arbeit wiederholen und Modellkontingent und Budget verbrauchen. Führen Sie den Migrationsindex aus, und überwachen Sie ihn, um die Verarbeitung fortzusetzen; setzen Sie ihn nicht routinemäßig zurück oder erstellen Sie ihn erneut, um fehlgeschlagene Vorgänge erneut auszuführen. Eine Zurücksetzung, gefolgt von einer Ausführung fordert die vollständige Neuverarbeitung an.
- Abgleich von Blöcken und Löschvorgängen: Durch die erneute Verarbeitung können sich die Anzahl der Blöcke oder die Schlüssel ändern, wenn sich die Analyse oder die Blockbildung ändert. Suchen Sie nach fehlenden und veralteten untergeordneten Datensätzen und ihre korrekten Berechtigungen beibehalten. Beim Zurücksetzen und erneuten Ausführen werden verwaiste Dokumente, deren Quelldatensätze nicht mehr vorhanden sind, nicht entfernt; verwenden Sie den unterstützten Löschfluss.
- Pipelineüberlappung: Während beide Indexer aktiv bleiben, können Quelländerungen sowohl beide Modelle als auch die jeweilige Anreicherung auslösen. Schließen Sie diese Überlappung, Drosselung und wiederholte Arbeit in die Kostenschätzung für die Migration ein.
Enrichment-Caching ist weder eine Sicherung noch ein Protokoll über den Abschluss der Migration. Wiederholte Unterbrechungen oder Fehler bei Skills können die Neuverarbeitung bei großen Datenquellen erhöhen. Überprüfen Sie eine repräsentative Arbeitslast, bevor Sie davon ausgehen, dass die Zwischenspeicherung die Kosten oder die Dauer der Neuerstellung reduziert.
Hinzufügen eines zweiten Vektorfelds im selben Index
Verwenden Sie dieses Verfahren für anwendungsverwaltete Pusherfassung, nicht für integrierte Indexerpipelines. Indexerbenutzer müssen mit einem neuen Indexer aus der Quelle neu erstellen.
Halten Sie die alten und neuen Vektorfelder zusammen, während Sie den Ersatz befüllen und testen. Dieser Ansatz vermeidet die Erstellung eines zweiten vollständigen Indexes, aber Backfill konkurriert mit produktionsbezogenem Datenverkehr und garantiert keinen unterbrechungsfreien Betrieb.
- Vergewissern Sie sich, dass ihr Aufnahmefluss die Schema- und Writer-Änderungen unterstützt. Gehen Sie nicht davon aus, dass ein generierter Wissensquellenindex beliebige Anpassungen unterstützt. Überprüfen Sie die Kapazität für beide Vektorsätze und prüfen Sie die Risiken bei Teilaktualisierungen, bevor Sie Dokumente verfassen.
- Fügen Sie das neue Vektorfeld und ggf. ein kompatibles Vektorprofil, eine Algorithmuskonfiguration und einen Vektorizer hinzu. Verwenden Sie die Abmessungen und Ähnlichkeitseinstellungen des Ersatzmodells. Vorhandene Dokumente haben anfangs NULL-Werte im neuen Feld.
- Bewahren Sie Produktionsabfragen für das alte Vektorfeld und das kompatible Abfragemodell auf. Konfigurieren Sie entweder eine Schreibpause oder koordinierte Dual-Write für neue und geänderte Dokumente. Generieren Sie während des dualen Schreibvorgangs beide Einbettungen aus derselben autoritativen Inhaltsrevision, und behandeln Sie Fehler explizit.
- Befüllen Sie das neue Feld für jedes vorhandene Dokument nachträglich mit dem vorgesehenen Text. Verwenden Sie die Steuerelemente in Backfill begrenzen und neu startbar machen. Bewahren Sie nicht verwandte Inhalte, Berechtigungen und alte Vektoren auf.
- Gleichen Sie alle beabsichtigten Dokumentschlüssel und Quellrevisionen innerhalb der vereinbarten Synchronisierungsgrenze ab. Beheben Sie fehlende Vektoren, fehlerhafte Schreibvorgänge, Löschungen und Berechtigungsänderungen. Durch übereinstimmende Dokumentanzahl allein wird keine Abdeckung hergestellt.
- Führen Sie vollständige Daten-, Zugriffs- und Retrieval-Tests mit dem neuen Feld durch, bevor Sie Produktionsabfragen umstellen.
- Wechseln Sie den Abfragepfad des gleichen Indexes , während Sie den alten Pfad für das vereinbarte Rollbackfenster beibehalten. Halten Sie alte Vektoren während dieses Zeitraums aktuell, oder halten Sie einen getesteten Aufholpfad bereit.
- Beenden Sie nach dem Rollbackfenster und der Annahme das Generieren alter Einbettungen. Löschen Sie optional alte Vektorwerte durch einen getesteten Dokumentaktualisierungsprozess. Das alte Feld verbleibt im Schema, bis Sie den Index neu erstellen.
Versuchen Sie nicht, das alte Feld zu deaktivieren, indem Sie das searchable Attribut ändern. Das Ändern dieses Attributs oder das Entfernen des Felds erfordert eine Neuerstellung. Das Feld definiert zu lassen, erfordert keine Abfrage.
Backfill begrenzt und neu startbar machen
Trennen Sie die historische Nachbefüllung von der laufenden Datenaufnahme. Verarbeiten Sie den anfänglichen Korpus einmal, behandeln Sie neue und geänderte Inhalte über den laufenden Pfad und führen Sie vor der Umschaltung einen Abgleich durch. Fortlaufende Quelländerungen erfordern möglicherweise mehr als einen Abstimmungsdurchlauf.
Verwenden Sie die Statusnachverfolgung, um unnötige Embedding-Aufrufe zu vermeiden, und die Writer-Koordination, um veraltete Updates zu verhindern. Diese anwendungsverwalteten Steuerelemente lösen unterschiedliche Probleme.
| Steuerung | So verwenden Sie es | Limitation |
|---|---|---|
| Migrationsversion und Bereitschaft | Verfolgen Sie die für den neuen Vektor verwendete Version des Einbettungsvertrags und die Quellrevision. Fehlende oder veraltete Arbeiten verarbeiten; Abschluss erst nach erfolgreichem Vektorschreibvorgang vermerken. | Ein boolescher Wert, z. B. vectorV2Ready, belegt nach einer Quelländerung nicht die Aktualität. Eine Markierung ist keine Sperre. |
| Deterministischer Checkpoint | Einen stabilen sortierbaren/filterbaren Schlüsselprüfpunkt oder einen autoritativen Quellcursor für einen begrenzten Durchlauf speichern. Fehlgeschlagene Schlüssel für einen erneuten Versuch beibehalten, bevor der Durchlauf als abgeschlossen erklärt wird. | Dokumentschlüssel ist nicht automatisch eine Erstellungsmarke. Neue oder geänderte Datensätze hinter dem Cursor müssen erneut verarbeitet oder abgeglichen werden. Das Such-Paging ist kein transaktionaler Snapshot. |
| Quellrevision oder Inhaltshash | Vergleichen Sie den Inhalt und den für den Vektor verwendeten Embedding-Vertrag mit dem aktuellen Quellzustand. Überspringen Sie bereits aktuelle, unveränderte Datensätze. | Eine Revisionsprüfung vor dem Schreibvorgang verhindert keine Änderung zwischen der Prüfung und dem Schreibvorgang. Schließen Sie alle Einbettungseingaben und Vorverarbeitungen in den Vergleich ein. |
Speichern Sie den Fortschritt in einem externen dauerhaften Protokoll oder geeigneten Indexfeldern. Wenn Sie nach Indexmarkierungen filtern, konfigurieren Sie deren Feldtypen und Filterbarkeit für diese Abfragen. Markieren Sie die Arbeit nicht als abgeschlossen, während der Vektorschreibvorgang noch aussteht oder fehlgeschlagen ist.
Koordinieren Sie historische und fortlaufende Schreibprozesse für jeden Dokumentschlüssel. Leiten Sie z. B. beide durch einen Ingestion-Verantwortlichen, der Änderungen serialisiert und veraltete Quellrevisionen ablehnt. Eine Markierung allein kann nicht verhindern, dass eine alte Einbettungsanforderung nach einem neueren Schreibvorgang abgeschlossen wird und diesen überschreibt.
Verlassen Sie sich nicht auf die Sortierung von Batchaktionen, Wiederholungen einer unveränderten veralteten Nutzlast oder auf eine angenommene bedingte Update-Garantie auf Dokumentebene. Wenn Sie keine zuverlässige Reihenfolge und Abstimmung herstellen können, verwenden Sie eine Schreibpause oder einen separaten Indexansatz mit einem geeigneten Synchronisierungsplan.
Berücksichtigen Sie mergebei historischen Aktualisierungen vorhandener Datensätze, was fehlschlägt, wenn ein Datensatz nicht mehr vorhanden ist. Ein veralteter mergeOrUpload Oder upload kann einen gelöschten Datensatz neu erstellen. Koordinieren Sie Lösch- und Berechtigungsänderungen mit demselben Aufnahmefluss, und prüfen Sie das Indizierungsergebnis jedes Dokuments.
Verwenden der Migrationsbeispiele
Die folgenden Referenzbeispiele veranschaulichen das erneute Einbetten exportierter Text in einen neuen Zielindex. Folgen Sie deren READMEs für Abhängigkeiten, Authentifizierung, Konfiguration, Befehle und Validierung.
In diesen Beispielen werden anwendungsverwaltete Pushworkflows verwendet. Sie sind keine Migrationstools für eine vorhandene integrierte Indexerpipeline. Für integrierte Indexer folgen Sie dem vollständigen Verfahren zur vollständigen Neuerstellung mit einem neuen Index und Indexer.
| Beispiel | Exportbasierter Workflow | Workflow für das zweite Feld im selben Index |
|---|---|---|
| Python Einbettungsmodellmigration | Sichern Sie einen geeigneten eingefrorenen Quellindex, überprüfen Sie eine identische Wiederherstellung, generieren Sie ein ausgewähltes Vektorfeld neu und stellen Sie auf einem neuen Ziel wieder her. Enthält eine Einbettungsfunktion und ein optionales Blob-Aufnahmepipelinebeispiel. | An diesem Beispielspeicherort geplant. Folgen Sie dem Second-Field-Verfahren; überprüfen Sie die README-Datei auf verfügbare Implementierung. |
| .NET Einbettungsmodellmigration | Erstellen Sie eine vollständige Baseline mit dem Sicherungs-/Wiederherstellungstool, bereiten Sie neu eingebettete Artefakte vor und stellen Sie sie optional auf einem neuen Ziel wieder her. Verwendet eine separat bereitgestellte Einbettungsfunktion. | An diesem Beispielspeicherort geplant. Folgen Sie dem Second-Field-Verfahren; überprüfen Sie die README-Datei auf verfügbare Implementierung. |
Die exportbasierten Workflows verwenden authentifizierte Dokument- und Abfrageeinbettungsrouten. Ihre fast und pro Auswahlen sind beispielspezifische Modellkonfigurationen, keine generischen Schalter für beliebige Anbieter. Überprüfen Sie jede Anpassung an die tatsächlichen Schnittstellen des Ersatzmodells. Ihr Verfahren lautet:
- Überprüfen Sie die Schema-, Schlüssel-, Speicher- und Authentifizierungsvoraussetzungen des ausgewählten Beispiels. Führen Sie die Offline-Überprüfungen vor Cloud-Operationen aus.
- Fixieren Sie alle anwendbaren Quellwriter während der Sicherung. Eine Bestätigung über die Befehlszeile hält Indexer oder andere Anwendungen nicht an.
- Erstellen Sie eine vollständige Baseline in einem neuen Ausgabeverzeichnis. Teilweise Exporte oder unvollständige Artefakte als Migrationseingabe ablehnen. Wenn Sie die Quellschreibvorgänge anschließend wieder aufnehmen, erfassen Sie diese Änderungen und wenden Sie sie vor dem Cutover erneut an.
- Überprüfen Sie die Dokument- und Abfragerouten der Einbettungsfunktion, einschließlich Authentifizierung und gemessener Ausgabeabmessungen.
- Generieren Sie Ersatzvektoren, und laden Sie einen neuen Zielindex. Verwenden Sie neue Artefaktverzeichnisse und Zielnamen wie im Beispiel vorgegeben. Behandeln Sie Exitcodes ungleich null und Fehlschläge pro Dokument als Fehler, nicht als Abschluss.
- Konfigurieren Sie die zukünftige Datenaufnahme, um kompatible Vektoren zu generieren. Die Beispiele migrieren Ihre vorhandenen Indexer, Datenquellen, Skillsets, Aliase oder externen Modellressourcen nicht automatisch.
Die exportbasierten Beispiele generieren ein ausgewähltes Vektorfeld der obersten Ebene aus einem Textfeld auf oberster Ebene neu. Gehen Sie nicht davon aus, dass sie geschachtelte oder multimodale Felder, jeden Berechtigungsfluss oder beliebige Projektionsschemas verarbeiten. Sie ändern auch die Komprimierungskonfiguration des ausgewählten Vektorprofils. Überprüfen Sie den Algorithmus und die Speichereinstellungen des Ziels.
Die optionale Python-Pipeline ist ein Blob-Beispiel für ein Volldokument, nicht eine Wiederherstellung Ihres vorhandenen Chunking, Ihrer Projektionen oder Ihrer Sicherheitskonfiguration. Verwenden Sie sie nur, wenn ihr Erfassungsvertrag Ihren Anforderungen entspricht.
Überprüfen von Daten, Zugriff und Abruf
Bevor Sie Änderungen an der Produktion vornehmen, testen Sie ihren ausgewählten Migrationsansatz in einer Nichtproduktionsumgebung mithilfe einer repräsentativen Stichprobe Ihrer eigenen Daten und Abfragen. Überprüfen Sie die Abrufqualität, den Zugriff, die Leistung, die Umschaltung und das Rollback anhand von Akzeptanzkriterien, die Sie im Voraus definieren.
Test in Phasen: Beginnen Sie mit einem kleinen, repräsentativen Dataset, überprüfen Sie das vollständig ausgefüllte Ziel und proben Sie den Cutover und Rollback. Führen Sie Auslastungstests für den erwarteten Datenverkehr aus. Offlinebeispieltests helfen beim Überprüfen des Toolverhaltens, ersetzen aber keine End-to-End-Tests durch Ihr bereitgestelltes Modell, Identitäten, Netzwerkkonfiguration und Anwendung.
Daten und Konfiguration überprüfen
- Vergleichen Sie das Zielschema mit den beabsichtigten Änderungen. Überprüfen Sie nicht verwandte Felder, Profile und Abhängigkeiten auf unbeabsichtigte Unterschiede.
- Gleichen Sie Dokumentschlüssel, Zuordnungen zwischen übergeordneten und untergeordneten Elementen, erwartete Nichtvektorwerte, Löschungen und Aktualität bis zum vereinbarten Synchronisierungspunkt ab.
- Überprüfen Sie, ob Ersetzungsvektoren aufgefüllt, gültig sind und die erwarteten Dimensionen aufweisen. Fehler beim Hochladen beheben und fehlende Einbettungen beheben.
- Vergewissern Sie sich, dass sowohl neue Dokumente als auch Aktualisierungen den Ersatz-Embeddingvertrag verwenden.
- Überprüfen Sie bei einer Indexerneuerstellung die anfängliche vollständige Ladung der Quelldaten, nachfolgende Änderungserkennung und Wiederherstellung nach einer unterbrochenen Ausführung. Gleichen Sie projizierte Chunks und Quelllöschungen ab, anstatt eine Indexerzurücksetzung als Bereinigung zu behandeln.
- Überprüfen Sie bei einer Migration eines zweiten Felds, ob die Bereitschaft der aktuellen Quellrevision und dem Einbettungsvertrag entspricht und nicht nur, ob ein Vektor aufgefüllt ist.
- Für anwendungsverwaltetes Ausfüllen: Unterbrechen und setzen Sie die Verarbeitung fort. Vergewissern Sie sich, dass der gespeicherte Fortschritt abgeschlossene, unveränderte Arbeit überspringt und dass fehlgeschlagene Datensätze erneut versucht werden können. Unvollständige Arbeit kann erneut ausgeführt werden; behandeln Sie dies nicht als Exactly-once-Garantie.
- Testen Sie ein Update und einen Löschvorgang, während eine frühere Embedding-Anfrage noch läuft. Vergewissern Sie sich, dass veraltete Vorgänge einen aktuellen Vektor nicht überschreiben, ihn nicht fälschlich als bereit markieren oder gelöschte Inhalte neu erstellen können.
- Testen Sie bei einem Backfill im selben Index Datensätze, die hinter einem Prüfpunkt hinzugefügt oder geändert wurden. Überprüfen Sie den Abgleich und die Erhaltung alter Vektoren und Berechtigungen, einschließlich anwendbarer
stored: falseUpdates.
Vergleichen Sie für eine identische Baseline-Kopie die Inhaltstreue, einschließlich Vektoren. Bei einer Modellmigration werden alte und neue Vektoren nicht numerisch gleich sein.
Zugriff und Abfrageausführung überprüfen
- Testen Sie autorisierte und nicht autorisierte Identitäten mit repräsentativen geschützten Inhalten. Behalten Sie den unterstützten Berechtigungsfluss bei; ersetzen Sie keinen ungefilterten oder erhöhten Fallback.
- Testen Sie die Abfragezeitvektorisierung über den tatsächlichen Search-Identitäts- und Netzwerkpfad.
- Überprüfen Sie clientgenerierte Abfragevektoren, ausgewählte Felder, Profile und Einbettungscaches. Testen Sie die Cache-Invalidierung und Versionsverwaltung mit kalten und warmen Caches, einschließlich Inhalts- und Berechtigungsänderungen.
- Testen Sie Anwendungen und abhängige Retrieval-Consumer, nicht nur direkte Anforderungen an den Zielindex.
Qualität und Betrieb bewerten
- Vergleichen Sie die Relevanz mit bewerteten Abfragen und Geschäftsaufgaben, einschließlich wichtiger Sprachen, Filter und Abfragetypen.
- Testen Sie das von Ihrer Anwendung verwendete Vektor-, Hybrid- und semantische Abfrageverhalten. Überprüfen Sie bewertungsbasierte Schwellenwerte, anstatt davon auszugehen, dass unformatierte Vektorergebnisse modellübergreifend vergleichbar sind.
- Messen Sie Latenzverteilungen, Durchsatz, Drosselung, Speicher und Einbettungsverwendung unter repräsentativer Auslastung.
- Vergewissern Sie sich, dass das Ziel Ihren Anforderungen an Aktualität, Zugriff, Qualität und Betriebsbudget entspricht.
Wenn Überprüfungen fehlschlagen, leiten Sie den Produktivverkehr weiter über den bestehenden Pfad, während Sie die Ursache beheben. Wechseln Sie nicht nur, weil die volle Auslastung abgeschlossen ist.
Datenverkehr umschalten und einen Rollbackpfad beibehalten
Koordinieren Sie die Änderung zwischen Ingestion und Abfrage. Das Wechseln eines Indexnamens allein reicht nicht aus, wenn die Anwendung Abfragevektoren generiert.
- Erreichen Sie die vereinbarte Schreib- oder Grenze für die Änderungswiedergabe und schließen Sie die Akzeptanztests ab.
- Für eine Direct-Index-Übernahme stellen Sie das Indexziel der Anwendung, die Abfrageeinbettungskonfiguration, das ausgewählte Vektorfeld und die Caches gemeinsam in einer koordinierten Bereitstellung um. Folgen Sie für eine aliasbasierte Umstellung Einen sekundären Index mit einem Alias umschalten; behandeln Sie die Alias- und Modelländerungen nicht als atomar.
- Bei einer indexerbasierten Migration behalten Sie den neuen Indexer für den neuen physischen Index bei, und konfigurieren Sie den fortlaufenden Zeitplan nach Bedarf. Aktualisieren Sie Wissensquellen über ihre unterstützte Zielkonfiguration.
- Vergewissern Sie sich, dass Die Produktionslesevorgänge und -schreibvorgänge das beabsichtigte Ziel erreichen. Testen Sie ein neues Dokument, eine Aktualisierung, einen Löschvorgang und eine entsprechende Berechtigungsänderung.
- Überwachen Sie die vereinbarten Relevanz- und Betriebssignale während des Rollbackfensters.
- Veraltete Ingestionspfade und Modellabhängigkeiten werden erst eingestellt, nachdem die Akzeptanz- und Aufbewahrungsanforderungen erfüllt sind. Bei einer Separaten Indexmigration wird der alte Index eingestellt. Bei einer Second-Field-Migration behalten Sie den aktiven Index bei, und befolgen Sie die Anleitungen zur Bereinigung des alten Vektors.
Behalten Sie einen kompatiblen Abfragepfad sowie einen alten Index bei. Wenn das alte Modell eingestellt wird oder nicht mehr zugänglich ist, ermöglicht der alte Index allein möglicherweise kein praktikables Rollback. Üben Sie das Rollback, während das alte Modell weiterhin verfügbar ist.
Berücksichtigen Sie Schreibvorgänge, die nach dem Umschalten akzeptiert wurden, bevor Sie den Datenverkehr wieder zurückleiten. Durch das Zurücksetzen eines Alias werden diese Schreibvorgänge nicht in den alten Index kopiert.
Wechseln des Abfragepfads für den gleichen Index
Bei einer Migration auf ein zweites Feld behalten Sie den Indexnamen bei und ändern die Abfragekonfiguration der Anwendung. Ein Indexalias wählt kein Vektorfeld aus.
- Vollständige Abnahmetests und abschließenden Abgleich für das neue Feld.
- Wechseln Sie
vectorQueries.fieldszusammen mit dem kompatiblen Abfrageeinbettungsmodell zum neuen Vektorfeld. Überprüfen Sie bei Textvektorabfragen den Vektorizer, der dem Profil des neuen Felds zugeordnet ist. Aktualisieren Sie Caches und alle abhängigen Abfragepfade. - Test production reads and ongoing writes, including updates, deletes, and permission changes. Behalten Sie weiterhin beide Einbettungspfade während des Rollbackfensters bei, oder bewahren Sie eine getestete Methode auf, um das alte Feld auf den aktuellen Stand zu bringen.
- Wenn ein Rollback erforderlich ist, gleichen Sie das alte Feld ab und stellen Sie die kompatible Abfragekonfiguration wieder her. Das alte Modell muss noch verfügbar sein.
- Nach der Annahme und dem Rollbackfenster schreibt das alte Modell alle geplanten Altvektorbereinigungen und führen sie aus.
Durch das Löschen alter Vektoren wird dieser sofortige Rollbackpfad entfernt. Testen Sie die Bereinigung mit dem tatsächlichen Vektorsammlungstyp, der API und dem Updateverhalten, und bewahren Sie das neue Feld und den nicht verknüpften Inhalt auf. Physische Löschung ist nicht sofort; Überwachen von Indexstatistiken vor der Neubewertung der Kapazität.
Wechseln eines sekundären Indexes mit einem Alias
Wenn Ihre Anwendung bereits auf einen Indexalias verweist, behalten Sie diesen Aliasnamen bei der Neuerstellung des Indexes bei. Erstellen und validieren Sie einen sekundären Index für den gleichen Foundry IQ-Dienst, und ändern Sie dann die Aliaszuordnung so, dass sie darauf verweist. Unterstützte Anwendungsaufrufe verwenden weiterhin denselben Namen, ohne ihre Verweise auf Indexnamen zu ändern.
- Vergewissern Sie sich, dass die unterstützten Dokumentvorgänge der Anwendung auf den Alias und nicht auf den physischen Indexnamen verweisen. Wenn Sie den physischen Namen verwenden, konfigurieren Sie sie so, dass der Alias verwendet wird, bevor Sie sich auf eine aliasbasierte Umschaltung verlassen.
- Erstellen, füllen und testen Sie den sekundären Index, während der Alias noch auf den vorhandenen Index verweist.
- Unterbrechen Sie modellspezifische Abfragen und schreibende Prozesse, die den Alias verwenden. Leeren Sie laufende Anfragen und Wiederholungsversuche in der Warteschlange, und schließen Sie die endgültige Synchronisierung ab.
- Aktualisieren Sie den vorhandenen Alias , um das Indexziel durch den sekundären Index zu ersetzen.
- Halten Sie den Datenverkehr mindestens 10 Sekunden nach dem Update angehalten, um die Aliasverteilung zuzulassen. Konfigurieren Sie clientseitige Einbettungen, ausgewählte Vektorfelder und Caches für den Ersatzindex. Überprüfen Sie Anfragen über den Alias, bevor Abfragen fortgesetzt und Push-Schreibvorgänge ausgeführt werden. Halten Sie den Datenverkehr angehalten, wenn die Überprüfung fehlschlägt.
Eine Aliasaktualisierung kann bis zu 10 Sekunden brauchen, um wirksam zu werden. Durch den sofortigen Wechsel von clientgenerierten Einbettungen können Ersetzungsmodellvektoren während dieses Intervalls an den alten Index gesendet werden. Wenden Sie beim Zurücksetzen eines Alias dieselbe Pausen-, Leerlauf-, Propagierungswarte- und Validierungssequenz an.
Wenn Sie den Datenverkehr nicht anhalten können, verwenden Sie das Anwendungsrouting, das jede Abfrage anheftet oder Push-Schreibvorgänge an einen physischen Index und die entsprechende versionierte Einbettungskonfiguration anheftet. Halten Sie diese Kopplung durch Wiederholungsversuche. Verlassen Sie sich nicht auf einen veränderbaren Alias, um atomar zu einem Index mit clientgenerierten Einbettungen zu wechseln.
Ein Alias ist auf einen Foundry IQ-Dienst beschränkt. Wenn sich der Zielindex auf einem anderen Dienst befindet, aktualisieren Sie den Dienstendpunkt der Anwendung separat; Ein Alias kann Anforderungen nicht über Dienste hinweg umleiten.
Ein Alias ist jeweils einem Index zugeordnet; Es verteilt keine Anforderungen über alte und neue Indizes oder stellt eine Transaktion über Ressourcen hinweg bereit. Außerdem werden keine Vektoren neu generiert oder das Einbettungsmodell einer Anwendung geändert.
Indexer und Foundry IQ Index-Wissensquellen können keinen Alias als Ziel verwenden. Aktualisieren Sie diese konkreten Indexverweise separat.
Berücksichtigen Sie Migrationsrisiken für den gleichen Index
Bei einer Migration im zweiten Feld behalten Sie alte und neue Einbettungsräume während des Rückfüllvorgangs in ihren jeweiligen Feldern bei und überprüfen, wie Abfragen fehlende Vektoren behandeln. Die Dimensionen des vorhandenen Felds können nach der Erstellung nicht mehr geändert werden. definieren Sie die Ersatzabmessungen für das neue Feld. Überprüfen Sie andere Feldeigenschaften auf Änderungen, für die ein Neuerstellen des Index erforderlich ist.
Überprüfen Sie das Verhalten der teilweisen Aktualisierung vor dem Auffüllen. Bei vorhandenen Vektorfeldern mit stored: falseweglassen von Vektoren aus einer anwendbaren merge oder mergeOrUpload Aktualisierung können Vektordaten verloren gehen. Siehe Vektorspeicheroptionen.
Dieses Risiko gilt beim Auffüllen eines neuen Felds oder beim späteren Löschen eines alten Felds. Bewahren Oder regenerieren Sie jeden betroffenen Vektor, der für das Update erforderlich ist. Wenn Ihr Aufnahmefluss dies nicht tun kann, verwenden Sie einen anderen Migrationsansatz.
Behalten Sie beide Vektorfelder über die Überprüfung und das Rollbackfenster bei. Das Hinzufügen eines zweiten Felds behält alte Vektoren bei, erfordert jedoch weiterhin Konsistenzsteuerelemente, Zugriffsüberprüfungen und einen getesteten Rollbackplan.
Behebung von Migrationsproblemen
| Symptom | Action |
|---|---|
| Export schlägt fehl oder erforderliche Felder fehlen. | Überprüfen Sie die Abrufbarkeit, die Vektorspeicherung, die Abfrageautorisierung und die Paginganforderungen des Beispiels. Erstellen Sie die Quelle neu, wenn ein vollständiger Export nicht möglich ist. |
| Fehler bei der Vektorgenerierung oder Abfragen melden Bemaßungsfehler. | Messen Sie die Ausgabe des Ersetzungsmodells, und überprüfen Sie die Felddefinition, das Profil und den Abfragegenerator zusammen. Die Dimensionen eines vorhandenen Felds können nicht geändert werden. erstellen Sie ein neues Feld oder einen neuen Index mit den erforderlichen Dimensionen. Bei einer Migration mit demselben Index behalten Sie das alte Feld über das Rollbackfenster bei. Füllen Sie Vektoren nicht auf und kürzen Sie sie nicht, es sei denn, das Modell unterstützt diese Konfiguration explizit. |
| Die Anzahl der Dokumente stimmt überein, der Inhalt ist veraltet, oder Datensätze fehlen. | Stimmen Sie Schlüssel und Feldwerte über die Synchronisierungsgrenze ab. Überprüfen Sie Löschungen und Änderungen, die beim Exportieren oder Rückfüllen vorgenommen wurden. |
| "Backfill" bettet wiederholt unveränderte Dokumente ein. | Verfolgen Sie erfolgreiche Arbeit, indem Sie die Version des Embedding-Vertrags und die Quellrevision einbetten. Überprüfen Sie die Checkpoint-Persistenz, Wiederholungsversuche für fehlgeschlagene Schlüssel und die Auswahl fehlender oder veralteter Markierungen. |
| Neue Vektoren sind veraltet, obwohl Datensätze bereit sind. | Koordinieren Sie historische und fortlaufende Schreibvorgänge pro Schlüssel. Eine Markierung verhindert keine veralteten Schreibvorgänge. Gleichen Sie vor der Umschaltung mit den aktuellen Quellrevisionen ab. |
| Gelöschte Datensätze werden während des Rückfüllvorgangs wieder angezeigt. | Verhindern, dass veraltete Upserts gelöschte Inhalte neu erstellen. Koordinieren Sie Löschvorgang mit Rückfüllen und berücksichtigen Sie Aktualisierungen, die ein vorhandenes Dokument erfordern. |
| Die Funktion funktioniert lokal, aber Suchabfragen schlagen fehl. | Überprüfen Sie die Such-zu-Funktion-Authentifizierung, Zielgruppe, Anruferautorisierung, Netzwerkzugriff und die Funktion-zu-Modell-Verbindung. Siehe Benutzerdefinierte Web-API-Vektorisierung. |
| Nur einige Dokumente werden erfolgreich geladen. | Überprüfen Sie die Ergebnisse für jedes Dokument, beheben Sie Fehler und versuchen Sie es entsprechend Ihrem Erfassungsplan erneut. Siehe Problembehandlung für Indexer-basierte Ladevorgänge. |
| Zugriffsentscheidungen unterscheiden sich von der Quelleinheit. | Halten Sie das Ziel von der Produktionsumgebung fern. Überprüfen Sie den unterstützten Berechtigungsimport-Workflow und die Dokumentverknüpfungen, bevor Sie repräsentative Identitäten erneut überprüfen. |
| Die Abrufqualität verschlechtert sich. | Überprüfen Sie die Modellkonsistenz, Aufgabeneinstellungen, Vorverarbeitung, Chunking, Ähnlichkeitsmetrik und Komprimierung. Bewerten Sie mit repräsentativen Abfragen erneut, bevor Sie den Produktionsdatenverkehr ändern. |