Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Note
Foundry IQ (Wyszukiwanie AI platformy Azure) udostępnia bezpośrednie interfejsy API indeksowania i zapytań, a także interfejsy API wyższego poziomu dla źródeł wiedzy i baz wiedzy do zarządzanego pobierania. Użyj portalu Azure, interfejsów API REST lub Azure SDKs, aby skonfigurować te możliwości lub połączyć agentów z bazami wiedzy w portalu Microsoft Foundry.
Migracja modelu osadzania zmienia sposób, w jaki aplikacja Foundry IQ (Wyszukiwanie AI platformy Azure) reprezentuje dokumenty i zapytania jako wektory. Możesz przeprowadzić migrację, ponieważ model zostanie wycofany lub wymagania dotyczące istotności, pokrycia językowego, opóźnień, przepływności, kosztów lub rezydencji danych ulegną zmianie. Oceń modele zastępcze względem obciążenia roboczego, zamiast zakładać, że nowszy model jest lepszy.
Ten przewodnik po najlepszych rozwiązaniach ułatwia wybór podejścia do migracji, ponowne generowanie osadzeń, weryfikowanie wyników i przełączanie ruchu produkcyjnego. W przypadku większości migracji produkcyjnych utwórz i przetestuj oddzielny indeks docelowy przy zachowaniu istniejącego indeksu. W przypadku migracji indeksu należy dodać nowe pole wektora i zachować stare pole, a nie zastąpić go; zachowaj oba pola przez walidację i okno wycofywania. Dane źródłowe, wymagania dotyczące aktualności, dostępna pojemność i tolerancja przerw w działaniu określają sposób wypełniania i przełączania się do nowego indeksu lub pola.
Prerequisites
- Istniejąca aplikacja do wyszukiwania wektorowego lub hybrydowego, w tym dostęp do schematu indeksu, konfiguracji pozyskiwania i konfiguracji zapytań.
- Autorytatywne dane źródłowe, które można ponownie przetworzyć lub pełny eksport indeksowanej zawartości wymaganej do migracji.
- Zastępcze wdrożenie modelu osadzania za pomocą zweryfikowanych interfejsów dokumentów i zapytań. W przypadku modeli w usłudze Microsoft Foundry zapoznaj się z bieżącym harmonogramem wycofywania.
- Uprawnienia do zarządzania indeksami i odczytywania lub zapisywania dokumentów oraz autoryzacja do wywoływania modelu zastępczego lub niestandardowego punktu końcowego.
- Wydajność usługi wyszukiwania i limit przydziału modelu dla obciążenia migracji, w tym wszelkie tymczasowe zduplikowane indeksy lub pola wektorów.
- Reprezentatywne zapytania ewaluacyjne, oczekiwane decyzje dotyczące dostępu i kryteria akceptacji biznesowej.
- Plan współbieżnych zmian źródła, przełączenia i wycofywania.
Wybieranie podejścia do migracji
Najpierw zdecyduj, gdzie przechowywać wektory zastępcze i gdzie uzyskać zawartość do osadzenia.
| Approach | Wybierz, kiedy | Wymagania i kompromisy | Zagadnienia dotyczące kosztów |
|---|---|---|---|
| Ponowne utworzenie oddzielnego indeksu z danych źródłowych | Używasz wbudowanych indeksatorów lub potrzebujesz ponownego przetwarzania danych źródłowych albo nowego fragmentowania/wzbogacania. | Nowy indeks i indeksator dla potoków indeksatora; niezależna walidacja i nadrabianie zaległości zmian w źródle. | Osadzenia pełnego korpusu, odczyty źródłowe, odpowiednie płatne wzbogacanie i zduplikowana pojemność indeksu. |
| Ponowne osadzanie wyeksportowanej zawartości indeksu w osobnym indeksie | Zarządzasz ingestią danych metodą push i możesz całkowicie wyeksportować odpowiedni tekst lub fragmenty. | Sprawdź kwalifikowalność schematu i spójność eksportu. Próbki wymagają zamrożonych zapisów podczas tworzenia kopii zapasowej. | Embeddingi zastępcze, magazyn eksportu, hostowanie adapterów i pojemność zduplikowanego indeksu. |
| Dodawanie drugiego pola wektora do istniejącego indeksu | Zarządzasz pozyskiwaniem wypychanych danych i chcesz udostępniać zawartość przy zachowaniu starych wektorów. | Nowe pole/profil, ograniczone uzupełnianie danych i skoordynowane procesy zapisu. Zobacz procedurę drugiego pola. | Zastępcze embeddingi, zduplikowane wektory, zapisy uzupełniające i możliwe skalowanie w poziomie. Funkcja podwójnego zapisu dodaje ciągłą pracę osadzania. |
Użyj dwóch pierwszych metod dla procedur oddzielnego indeksu lub wykonaj procedurę drugiego pola dla migracji tego samego indeksu. W tym podejściu zachowaj stare i nowe pola obok siebie przez walidację i okno wycofywania. Nie można zmienić wymiarów pola wektorowego po utworzeniu pola, więc utwórz nowe pole lub indeks z wymiarami modelu zastępczego. Zobacz Aktualizowanie lub ponowne tworzenie indeksu, aby uzyskać informacje o obsługiwanych zmianach schematu, oraz przykładowe przepływy pracy dla obecnego i planowanego zakresu przykładów.
Jeśli wbudowane indeksatory usługi Foundry IQ wypełniają indeks, użyj polecenia Rebuild from authoritative source data. Ta ścieżka migracji wymaga pełnej przebudowy danych źródłowych do nowego indeksu przy użyciu nowego indeksatora. Alternatywy eksportu i drugiego pola w tym przewodniku dotyczą pozyskiwania danych w modelu push zarządzanego przez aplikację, a nie migracji za pośrednictwem istniejącego potoku indeksatora.
Identyczne tworzenie kopii zapasowej i przywracanie mogą pomóc przećwiczyć odzyskiwanie, ale nie migrują modelu osadzania. Kopiuje tylko istniejące wektory.
Wybieranie sposobu obsługi zmian współbieżnych
Oddzielnie zdecyduj, jak utrzymać aktualność treści w trakcie generowania zastępczych embeddingów.
| Strategy | Wybierz, kiedy | Wymagane sterowanie | Zagadnienia dotyczące kosztów |
|---|---|---|---|
| Wstrzymywanie zapisów | Okno obsługi lub opóźniona świeżość jest akceptowalna. | Zatrzymaj odpowiednie indeksatory, zapisywacze push, aktualizacje, usunięcia i zmiany schematu. Przed wznowieniem normalnego działania należy uwzględnić zmiany w systemach źródłowych. | Unikaj jednoczesnej starej/nowej generacji podczas wstrzymania, ale budżet na przetwarzanie zaległości i efekt biznesowy opóźnionej świeżości. |
| Zbuduj na podstawie spójnej migawki źródła i odtwórz zmiany | Potrzebujesz krótkiego okna przełączenia i masz trwały strumień zmian. | Śledź początkowy znacznik i odtwarzaj operacje tworzenia, aktualizacji, usuwania i zmian uprawnień. Zsynchronizuj obiekt docelowy przed przełączeniem. | Przechowywanie migawek, przechwytywanie zmian, odtwarzanie zmian i uzgadnianie. Powtarzające się zmiany mogą wymagać dodatkowych embeddingów. |
| Utrzymuj stare i nowe ścieżki pozyskiwania | Ciągła świeżość uzasadnia dodatkową inżynierię i moce. | Generuj wektory specyficzne dla modelu dla obu indeksów lub obu pól. Koordynuj operacje zapisu w tym samym dokumencie i obsługuj ponawianie prób, częściowe błędy, usuwanie i zmiany uprawnień. | Oba modele przetwarzają mające zastosowanie zmiany. Uwzględnij dodatkowe operacje zapisu, ponawianie prób, zarezerwowaną przepustowość i nakład pracy związany z uzgadnianiem. |
Te opcje to opcje architektury pozyskiwania, a nie funkcje automatycznej migracji. Eksporty wyszukiwania nie są migawkami transakcyjnymi, a przykłady migracji nie przechwytują współbieżnych zmian ani ich nie odtwarzają. Zapisywanie do dwóch indeksów nie jest operacją niepodzielną.
W przypadku dwóch pól w jednym indeksie zapis podwójny oznacza utrzymywanie obu osadzeń na bieżąco dla każdego zmienionego dokumentu. Nie wymaga to wielokrotnego osadzania całego korpusu. Użyj ograniczonego uzupełniania danych z kontrolkami postępu i spójności.
W przypadku wbudowanych indeksatorów pozyskiwanie równoległe oznacza zachowanie starego potoku, podczas gdy nowy indeksator wypełnia nowy indeks ze źródła. Nie oznacza to wypełniania drugiego pola za pośrednictwem istniejącego indeksatora.
Utrzymywanie zapytań online względem starego indeksu nie musi koniecznie utrzymywać aktualności tego indeksu. Zdefiniuj zarówno wymaganie dotyczące dostępności, jak i dopuszczalne opóźnienie danych.
Oszacuj koszty migracji
Oddziel jednorazowe koszty uzupełnienia danych, tymczasowe nakładające się koszty i koszty operacyjne w stanie stałym. Żadne podejście nie jest zawsze najtańsze: udostępnianie tekstu i metadanych w jednym indeksie zmniejsza duplikację, ale dwa pola wektorów nadal zużywają pojemność wektorów.
- Ustanów bieżącą bazę odniesienia środowiska produkcyjnego oraz oczekiwane okresy migracji i wycofania. Oddziel dodatkowe wydatki na migrację od kosztów, które już ponosisz w związku z istniejącą aplikacją.
- Zmierz reprezentatywny pilotaż przed oszacowaniem pełnego korpusu. Zapisz wolumen danych źródłowych, wygenerowane fragmenty, użycie osadzania rozliczane przez dostawcę, ponawianie prób, rozmiar indeksu i czas przetwarzania. Użyj jednostek rozliczeniowych rzeczywistego dostawcy; nie zakładaj, że każdy model jest rozliczany według tokenów.
- Oszacuj początkową przebudowę lub uzupełnienie danych. Uwzględnij embeddingi zastępcze, odczyty źródłowe lub eksport, odpowiednie analizowanie i płatne wzbogacanie, magazyn artefaktów, hostowanie adapterów i transfer danych. W przypadku nowego indeksatora uwzględnij w budżecie pełne załadowanie danych źródłowych, zamiast zakładać, że stara pamięć podręczna wzbogacania danych eliminuje potrzebę wykonania tej pracy. Nieudane lub powtarzające się przetwarzanie nadal może spowodować naliczanie opłat.
- Szacowanie tymczasowego nakładania się i walidacji. Uwzględnij dowolną dodatkową pojemność wyszukiwania, stare/nowe pozyskiwanie zmienionej zawartości, nietrafienia pamięci podręcznej i jej rozgrzewanie, zapytania ewaluacyjne, odpowiednie funkcje zapytań Premium i okres przechowywania na potrzeby wycofania. Uwzględnij ponowienia i rekonsyliację. Ograniczanie przepustowości może wydłużyć okres nakładania się i koszty zasobów zależne od czasu.
- Szacowanie kosztów stanu ustalonego po przełączeniu. Porównaj z punktem odniesienia bieżące użycie osadzania dokumentów i zapytań, pojemność usługi Search, magazynowanie wektorów oraz koszty adapterów w modelu zastępczym. Wycofaj stare zasoby dopiero po akceptacji i po upływie okna wycofania.
Poprawnie zastosuj model rozliczeń:
- Wyszukiwanie dedykowane: Opłaty zależą od aprowizowanej pojemności i tego, jak długo ją utrzymujesz. Drugi indeks lub pole wektorowe nie powoduje automatycznego podwojenia rachunku za wyszukiwanie ani dodania opłaty za indeks, pole lub za zapis. Sprawdź, czy istniejąca pojemność może obsłużyć szczytowe obciążenie; dodatkowe repliki, partycje lub inna usługa może zwiększyć koszty. Wywołania modelu i inne rozliczane usługi pozostają oddzielne.
- Wyszukiwanie bezserwerowe, tam gdzie jest obsługiwane: Moc obliczeniowa i magazyn indeksów są rozliczane według użycia. Uwzględnij indeksowanie i pracę zapytań, a nie tylko przechowywane wektory. Sprawdź bieżące limity warstw i ograniczenia sieciowe , a nie zakładaj obsługi dla każdego scenariusza migracji.
Skorzystaj ze wskazówek dotyczących kosztów wyszukiwania, planowania pojemności i bieżącego cennika Foundry IQ. Uzyskaj stawki modelu z informacji o cenach wybranego wdrożenia. Ustaw budżet i alerty, monitoruj rzeczywiste użycie podczas migracji i zbadaj nieoczekiwane ponowne przetwarzanie przed rozszerzeniem obciążenia.
Po usunięciu starych wektorów sprawdź, czy można zmniejszyć liczbę replik lub partycji, przy zachowaniu wymagań dotyczących obciążenia. Samo czyszczenie magazynu nie powoduje obniżenia opłat za Dedicated Search. Uwzględnij wszelki pozostały artefakt lub okres przechowywania pamięci podręcznej w budżecie po migracji.
Zdefiniuj zastępczy kontrakt osadzania
Dla każdego pola wektora należy udokumentować ustawienia indeksowania i wykonywania zapytań używane razem:
- Tożsamość modelu, wersja, wdrożenie, punkt końcowy i kontrakt interfejsu API.
- Wymiary wyjściowe i odpowiednia metryka podobieństwa.
- Wstępne przetwarzanie danych wejściowych, fragmentowanie, obcinanie i normalizacja.
- Specyficzne dla dostawcy ustawienia zadań dokumentów i zapytań, w razie potrzeby.
- Uwierzytelnianie, dostęp do sieci i dostępność regionalna.
Zmiana wektoryzatora lub nazwy wdrożenia nie powoduje ponownego wygenerowania indeksowanych wektorów. Aby zmienić przestrzenie osadzeń, ponownie wygeneruj osadzenia dokumentów na podstawie zamierzonego tekstu, obrazów lub innych źródłowych danych wejściowych. Równe wymiary wektorów nie oznaczają zgodności między modelami.
Upewnij się, że każde pole wektorowe jest zgodne z modelem używanym do generowania jego wektorów zapytań. W przypadku migracji indeksu należy przechowywać zastępcze osadzania w osobnym polu nawet wtedy, gdy wymiary są zgodne, dzięki czemu można porównać wyniki i zachować stare wektory dostępne do wycofania. W celu zintegrowania wektoryzacji wybierz obsługiwaną parę umiejętności i wektoryzatora. Jeśli zamiana wymaga niestandardowego adaptera, zweryfikuj kontrakty zarówno umiejętności indeksowania, jak i wektoryzatora zapytań.
Jeśli zmienisz również podział na fragmenty, porównaj tę zmianę oddzielnie, tam gdzie jest to praktyczne, aby można było odróżnić jej skutki od zmiany modelu. Przejrzyj ustawienia kompresji i podobieństwa, zamiast zakładać, że ustawienia dostosowane do starego modelu pozostają odpowiednie.
Obsługa pamięci podręcznych podczas migracji
Sporządź listę pamięci podręcznych w ścieżkach pozyskiwania i zapytań. Przełączanie modelu, pola wektorowego lub aliasu indeksu nie powoduje automatycznego unieważnienia pamięci podręcznych zarządzanych przez aplikację.
- Pamięć podręczna wzbogacania indeksatora (wersja zapoznawcza): Ta pamięć podręczna należy do indeksatora, a nie do ścieżki zapytania aplikacji. Nie zakładaj, że można przenieść go do nowego indeksatora. Postępuj zgodnie z zagadnieniami dotyczącymi ponownego przetwarzania; buforowane wektory starego modelu nie zastępują generowania nowych embeddingów.
- Embeddingi dokumentów zarządzane przez aplikację: Użyj ponownie wpisu tylko wtedy, gdy jego zawartość wejściowa i kontrakt embeddingów są zgodne. Uwzględnij wersję źródłową lub skrót zawartości i wersję kontraktu w kluczu pamięci podręcznej. Zmienione fragmentowanie lub wstępne przetwarzanie może unieważnić wcześniej buforowane osadzenia.
- Embeddingi zapytań zarządzane przez aplikację: Indeksuj wpisy według danych wejściowych zapytania i kontraktu embeddingów, a nie tylko tekstu zapytania. Nazwa wdrożenia lub punkt końcowy mogą pozostać niezmienione, chociaż przypisany do nich model się zmienia. Zachowaj oddzielne ustawienia dokumentów i zapytań, jeśli dostawca tego wymaga.
- Wyniki wyszukiwania lub odpowiedzi zarządzane przez aplikację: Uwzględnij generowanie indeksu docelowego, pole wektorowe, konfigurację zapytania, filtry i kontekst autoryzacji. Unieważnij wpisy, których dotyczą zmiany, gdy zmienia się zawartość źródłowa lub uprawnienia. Nie udostępniaj buforowanej zawartości, chyba że bieżące uprawnienia użytkownika wysyłającego żądanie są nadal ważne.
Użyj jawnej wersji kontraktu osadzania obejmującej tożsamość/wersję modelu, wymiary, ustawienia zadań i wstępne przetwarzanie. Zachowaj stare i nowe przestrzenie nazw pamięci podręcznej aplikacji oddzielnie podczas nakładania się i wycofywania.
Jeśli model zmieni się za niestandardowym punktem końcowym umiejętności bez wykrytej zmiany zestawu umiejętności, buforowane dane wyjściowe mogą pozostać nieaktualne. Postępuj zgodnie z udokumentowaną procedurą unieważnienia umiejętności i ponownego przetwarzania dla dotkniętych umiejętności i ich zależności. Ta procedura nie zastępuje ponownego przebudowania źródła nowego indeksatora wymaganego dla ścieżki migracji indeksatora.
Uwzględnij w budżecie magazyn pamięci podręcznej, wywołania modelu zastępczego przy nietrafieniach pamięci podręcznej oraz ruch związany z rozgrzewaniem pamięci podręcznej. Przetestuj zarówno ścieżki cold i warm przed przełączeniem; ciepła pamięć podręczna nie może ukrywać niezgodnego modelu, nieaktualnego dokumentu ani nieprawidłowej decyzji o dostępie.
Planowanie wycofania Cohere Embed v3
Harmonogram wycofania modelu Foundry podaje 15 listopada 2026 r. jako datę wycofania z użytku dla Cohere-embed-v3-english i Cohere-embed-v3-multilingual. Oba modele zostaną wycofane 15 lutego 2027 r. Wymienione zamienniki to Cohere-embed-v5-fast i Cohere-embed-v5-pro. Sprawdź harmonogram aktualizacji podczas planowania migracji.
Ukończ i przetestuj migrację przed wycofaniem, co pozwala na rozwiązywanie problemów i wycofywanie prób, gdy stary model pozostaje dostępny.
- Identyfikowanie potoków pozyskiwania i ścieżek zapytań korzystających z dowolnego wycofywanego modelu, w tym generowania osadzania zapytań po stronie klienta.
- Oceń modele zastępcze pod kątem reprezentatywnych zapytań oraz wymagań dotyczących jakości, opóźnień, przepływności, języka i kosztów. Wdróż wybrany zamiennik w Microsoft Foundry i zweryfikuj jego interfejsy dokumentowe i zapytań oraz wymiary wyjściowe.
- Wybierz podejście do migracji. Wbudowane potoki indeksatora wymagają pełnej kompilacji źródła z nowym indeksem i indeksatorem. W przypadku pozyskiwania danych metodą push preferuj oddzielny indeks docelowy lub dodaj drugie pole z kontrolkami spójności. Wygeneruj ponownie wektory dokumentów; nie kopiuj wektorów v3 i zmieniaj tylko model zapytań.
- W przypadku pozyskiwania przez wypychanie przy użyciu przykładów Python lub .NET skonfiguruj wybrany model
fastlubprooraz uwierzytelnioną funkcję osadzania. Te przykłady używają niestandardowego wektoryzatora internetowego interfejsu API; zastąpienie wymienione w narzędziu Foundry nie oznacza obsługi istniejącej natywnej umiejętności wyszukiwania ani wektoryzatora. - Ukończ testowanie danych, dostępu i pobierania, a następnie przełącz ruch. Aktualizuj ciągłe pozyskiwanie i generowanie embeddingów dla zapytań razem.
Wybierz wariant v5
Wybierz wariant na podstawie obciążenia, które testujesz, a nie tylko nazwy modelu. Aby uzyskać wskazówki dotyczące możliwości i obciążeń, zobacz Cohere Embed V5 w usłudze Microsoft Foundry.
| Variant | Priorytety obciążeń | Przykładowa nazwa wdrożenia |
|---|---|---|
| Embed v5 Fast | Interaktywne wyszukiwanie wrażliwe na opóźnienia i responsywne środowiska agentów. | cohere-embed-v5-fast-sls |
| Embed v5 Pro | Jakość pobierania dla aplikacji, w których znalezienie najbardziej odpowiednich informacji jest priorytetem. | cohere-embed-v5-pro-sls |
Fast i Pro współdzielą przestrzeń embeddingów, ale ta zgodność nie obejmuje istniejących wektorów v3. Wygeneruj ponownie embeddingi dokumentów w wersji 3 na potrzeby migracji do wersji 5. Zweryfikuj wymiary, ustawienia zadań dokumentu/zapytania, istotność, opóźnienie i koszt wybranej konfiguracji.
Wywoływanie punktu końcowego dostawcy Cohere
Bezpośrednie żądanie osadzania Cohere używa tego wzorca punktu końcowego: POST https://<foundry-resource>.services.ai.azure.com/providers/cohere/v2/embed.
Zastąp <foundry-resource> nazwą swojego zasobu Foundry. Ustaw wartość żądania model na nazwę wdrożenia wdrożonego modelu, taką jak cohere-embed-v5-fast-sls lub cohere-embed-v5-pro-sls. Oba warianty używają tej samej ścieżki dostawcy. Nazwy w poprzedniej tabeli to przykłady, a nie wymagane nazwy wdrożeń.
Postępuj zgodnie z przykładami migracji dla ładunku żądania, wersji interfejsu API i konfiguracji uwierzytelniania. Użyj zadania dokumentu podczas indeksowania i zadania zapytania podczas generowania wektorów zapytań.
Ten punkt końcowy dostawcy nie jest punktem końcowym wektoryzatora niestandardowego internetowego interfejsu API Search. W przykładowym przepływie pracy zachowaj wektoryzator skierowany do trasy zapytania uwierzytelnionej funkcji. Funkcja dostosowuje żądanie wyszukiwania do żądania dostawcy Cohere.
Przygotuj dane docelowe i źródłowe
Przed rozpoczęciem migracji przygotuj konfigurację i mechanizmy kontroli spójności.
- Sporządź spis pól indeksu, kluczy dokumentów, relacji nadrzędny-podrzędny, profilów wektorów, kompresji, analizatorów, konfiguracji semantycznej i profilów oceniania. Identyfikowanie aplikacji, indeksatorów, źródeł wiedzy i innych użytkowników, którzy od nich zależą.
- Utwórz rekord migracji z nazwami źródłowego i docelowego indeksu lub pola wektorowego, kontraktem osadzania, oczekiwanymi zmianami schematu, strategią synchronizacji i kryteriami akceptacji.
- Skonfiguruj autoryzację docelową i dostęp sieciowy. Odróżnij operatora migracji, tożsamość usługi Search wywołującą punkt końcowy osadzania oraz dowolną pośrednią tożsamość wywołującą model. Pomyślne wywołanie modelu lokalnego nie dowodzi, że usługa Search ma dostęp.
- Ustanów blokadę zapisu, migawkę źródłową lub granicę powtarzania zmian wybraną dla migracji.
- Zdefiniuj schemat docelowy. W przypadku migracji oddzielnego indeksu zarezerwuj nową nazwę indeksu i utwórz go za pośrednictwem wybranego przepływu pracy. W przypadku przykładowej procedury eksportu i przywracania indeks docelowy nie powinien jeszcze istnieć: przywracanie tworzy go i nie pozwala nadpisać istniejącego indeksu. W przypadku migracji z dodaniem drugiego pola zamiast tego zaplanuj zmiany w istniejącym schemacie.
Nie usuwaj indeksu produkcyjnego, aby zwolnić miejsce, bez oddzielnego planu dostępności i odtwarzania poddanego przeglądowi. Chroń wyeksportowane dokumenty i artefakty migracji przy użyciu mechanizmów kontroli dostępu i zasad przechowywania odpowiednich dla treści źródłowych. Nie umieszczaj ich w repozytoriach kodu źródłowego.
Definicje indeksów zwracane przez polecenie GET lub LIST nie są kopiami zapasowymi poświadczeń. Utwórz ponownie wymagane zależności i jawnie podaj uwierzytelnienie dla miejsca docelowego. Aby zapoznać się z zadaniami zarządzania indeksami, zobacz Zarządzanie indeksami wyszukiwania.
Zachowaj tożsamość dokumentu i kontrolę dostępu
Zachowaj tożsamości dokumentów oraz powiązaną z nimi zawartość, metadane i uprawnienia. Jeśli fragmentowanie lub generowanie kluczy zmieni się, należy uwzględnić przestarzałe rekordy nadrzędne i podrzędne zamiast zakładać, że nowe zapisy je usuwają.
W przypadku zawartości chronionej zachowaj obsługiwany łącznik lub zaufany przepływ pozyskiwania, który dostarcza uprawnienia. Kopiowanie pola o nazwie podobnej do uprawnień nie powoduje ponownego utworzenia pochodzenia uprawnień pochodzącego z łącznika. Przed wybraniem migracji eksportu i wypychania sprawdź wymagania przepływu dostępu na poziomie dokumentu .
Nie zakładaj, że ogólne przykłady migracji obsługują każdy indeks źródła wiedzy z włączonymi uprawnieniami lub indeks wygenerowany. Jeśli nie możesz ustanowić obsługiwanego, kompletnego transferu, odtwórz go za pomocą odpowiedniego przepływu pozyskiwania źródła. Przed udostępnieniem elementu docelowego aplikacjom zweryfikuj efektywny dostęp.
Sprawdź uprawnienia do eksportu
W przypadku migracji z istniejącego indeksu zamiast autorytatywnych danych źródłowych sprawdź każde pole wymagane do odtworzenia dokumentów.
- Musisz mieć możliwość pobrania wymaganej zawartości. Eksport indeksu nie może odzyskać tekstu źródłowego ani metadanych, których nie można odczytać.
- Nie można odzyskać wektorów z
stored: falsepoprzez pobieranie dokumentów. Zmianaretrievablenie powoduje, że można je eksportować. - Wymagania dotyczące paginacji przykładu muszą być zgodne z polem klucza i rozmiarem korpusu. Python i .NET nie mają identycznych reguł kwalifikowalności stronicowania.
- Eksport musi zawierać kompletny zestaw dokumentów, a nie tylko dokumenty widoczne dla tożsamości zapytania z ograniczeniami.
W przypadku pól z przechowywaną zawartością zmiana pobieralności może być obsługiwana, ale zmienia także to, co mogą zwracać zapytania. Nie ujawniaj ogólnie poufnych pól tylko na potrzeby przykładu. Zobacz Opcje magazynu wektorowego, aby poznać różnicę między stored a retrievable.
Generowanie i ładowanie zastępczych osadzeń
Postępuj zgodnie z procedurą wybranego podejścia. Zachowaj odczyty produkcyjne dla istniejącego indeksu i starego pola wektora, dopóki rozwiązanie zastępcze nie przejdzie walidacji. Tylko ścieżki pozyskiwania skonfigurowane dla zastępczego kontraktu embeddingu powinny zapisywać wektory zastępcze.
Odbudowywanie z autorytatywnych danych źródłowych
Użyj tego procesu dla wbudowanych indeksatorów IQ usługi Foundry. Należy go również używać do pozyskiwania danych zarządzanych przez aplikację, gdy dane źródłowe i metadane są odtwarzalne lub parsowanie, fragmentowanie lub wzbogacanie musi ulec zmianie.
W przypadku migracji opartej na indeksatorze zmiana istniejącego wektoryzatora lub wdrożenia modelu nie uzupełnia wstecz zastępczych osadzeń. Utwórz nowy potok, który przetwarza pełną pełną pulę źródłową. Zachowaj dostępny istniejący indeks i potok, dopóki zastąpienie nie przejdzie walidacji.
Jeśli model zastępczy nie ma obsługiwanej wbudowanej pary umiejętności osadzania i wektoryzatora, zachowaj wbudowany indeksator i dodaj niestandardową integrację do nowego potoku:
- Indeksowanie: Dodaj niestandardową umiejętność internetowego interfejsu API do nowego zestawu umiejętności. Jego punkt końcowy generuje osadzenia wektorowe dokumentów za pomocą modelu zastępczego. Zamapuj dane wyjściowe na nowe pole wektorowe za pomocą mapowań pól wyjściowych lub projekcji indeksu, odpowiednio.
- Wykonywanie zapytań: Skonfiguruj niestandardowy wektoryzator internetowego interfejsu API w nowym indeksie i odwołuj się do niego za pomocą profilu pola wektorowego. Jego punkt końcowy generuje zgodne embeddingi zapytań dla tekstowych zapytań wektorowych. Jeśli aplikacja wysyła bezpośrednio wektory zapytań, zaktualizuj zamiast tego generator embeddingów.
Zaimplementuj punkty końcowe adaptera spełniające kontrakty żądań i odpowiedzi dla umiejętności i wektoryzatora. Nie należy kierować żadnego z komponentów do surowego interfejsu API modelu, chyba że ten interfejs API implementuje wymagany kontrakt usługi Search. Użyj tego samego zastępczego kontraktu osadzania dla obu ścieżek z odpowiednimi ustawieniami dokumentu i zadania zapytania.
Skonfiguruj uwierzytelnianie i dostęp sieciowy oddzielnie dla wywołań search-to-adapter i adapter-to-model. Przed rozpoczęciem pełnego ładowania zweryfikuj generowanie osadzeń dokumentów i wektoryzację zapytań za pomocą rzeczywistej tożsamości wyszukiwania.
- Utwórz nowy indeks docelowy z zastępczym polem wektorowym i profilem. Zachowaj zapytania produkcyjne dla istniejącego indeksu.
- Jeśli osadzenia są generowane w zestawie umiejętności, utwórz oddzielny zestaw umiejętności dla modelu zastępczego i przejrzyj cele projekcji indeksu. Nie zmieniaj udostępnionego zestawu umiejętności produkcyjnych w sposób, który przełącza stary potok na nowy model.
- Skonfiguruj generowanie osadzania dokumentów i wektoryzację zapytań przy użyciu kontraktu replacement. Zachowaj uprawnienia źródłowe skojarzone z odpowiednimi dokumentami i fragmentami. W przypadku wektoryzacji zintegrowanej opartej na indeksatorze postępuj zgodnie z instrukcjami Konfigurowanie zintegrowanej wektoryzacji. W przypadku wektorów generowanych przez aplikację postępuj zgodnie z instrukcjami Generowanie osadzeń.
- W przypadku wbudowanych indeksatorów utwórz nowy indeksator z połączeniem źródłowym, nowym indeksem docelowym, zestawem umiejętności zastępczych, jeśli ma to zastosowanie, i mapowaniami pól/danych wyjściowych. Ustaw wartość
disablednatruepodczas instalacji; w przeciwnym razie utworzenie natychmiast uruchamia przebieg. - Przed rozpoczęciem pełnego obciążenia sprawdź poprawność reprezentatywnego obciążenia testowego. W przypadku wbudowanych indeksatorów należy użyć oddzielnego potoku testowania z ograniczonym zakresem źródłowym. Zachowaj wyłączony indeksator migracji pełnego źródła, dopóki nie będziesz gotowy do pełnego ładowania.
- Przetwórz cały korpus za pośrednictwem nowego pipeline. W przypadku wbudowanych indeksatorów zaplanuj ponowne przetwarzanie, włącz i uruchom indeksator migracji oraz monitoruj jego historię wykonywania, błędy i ostrzeżenia. W przypadku pozyskiwania danych metodą push sprawdź wyniki indeksowania poszczególnych dokumentów. Rozwiąż niepowodzenia przed zadeklarowaniem zakończenia ładowania.
- Zastosuj zmiany w źródle wymagane przez plan synchronizacji, w tym usunięcia i zmiany uprawnień.
Element docelowy jest gotowy do testów akceptacyjnych, gdy docelowy korpus został załadowany, a zmiany do uzgodnionego punktu synchronizacji zostały uwzględnione.
Zaplanuj ponowne przetwarzanie indeksatora
Pełna ponowna kompilacja źródła to coś więcej niż kopiowanie dokumentów do nowego indeksu. Zaplanuj początkowe przetwarzanie, kolejne zmiany i odzyskiwanie po przerwanym przetwarzaniu.
- Ładowanie początkowe: Nowy indeksator ma własny stan przetwarzania. Uwzględnij w budżecie odczyty źródłowe, analizowanie, fragmentowanie, odpowiednie wzbogacanie i zastępcze embeddingi dla całego zamierzonego korpusu. Skonfiguruj model zastępczy przed tym obciążeniem; nie czekaj na zmianę dokumentów źródłowych przed ponownym wygenerowaniem ich wektorów.
- Uruchomienia przyrostowe: Po początkowym obciążeniu zwykłe przebiegi używają obsługiwanego zachowania wykrywania zmian w źródle. Nie są to żądania ponownego generowania każdego wektora. Przed rozpoczęciem polegania na harmonogramie sprawdź, jak aktualizacje, usunięcia i zmiany uprawnień docierają do nowego indeksu.
- Buforowanie wzbogacania:Pamięć podręczna wzbogacania to funkcja w wersji zapoznawczej, zarządzana dla każdego indeksatora. Nie zakładaj, że pamięć podręczna starego indeksatora zostanie przeniesiona do nowego potoku lub sprawi, że ponowne kompilowanie będzie przyrostowe. Postępuj zgodnie ze wskazówkami dotyczącymi obsługi pamięci podręcznej , gdy zmieniają się dane wejściowe modelu lub zachowanie umiejętności.
- Ponowne próby i resetowanie: Nie zakładaj dokładnie jednokrotnego przetwarzania ani jednego wywołania modelu na fragment. Przerwy i ponawianie prób mogą powtarzać pracę i wykorzystywać limit przydziału modelu oraz budżet. Uruchomienie i monitorowanie indeksatora migracji pozwala kontynuować przetwarzanie; nie należy rutynowo resetować ani ponownie go tworzyć w celu ponowienia nieudanych operacji. Reset, po którym następuje uruchomienie, powoduje żądanie pełnego ponownego przetwarzania.
- Uzgadnianie fragmentów i usunięć: Ponowne przetwarzanie może zmienić liczbę fragmentów lub klucze, jeśli analizowanie lub fragmentowanie zmienia się. Sprawdź, czy nie ma brakujących i przestarzałych rekordów podrzędnych, i zachowaj odpowiednie uprawnienia. Resetowanie i ponowne uruchamianie nie powoduje usunięcia osieroconych dokumentów, których rekordy źródłowe już nie istnieją; użyj obsługiwanego przepływu usuwania.
- Nakładanie się potoku: Chociaż oba indeksatory pozostają aktywne, zmiany źródła mogą wywoływać zarówno modele, jak i odpowiednie wzbogacanie. Uwzględnij to nakładanie się, ograniczanie przepustowości i powtarzające się prace w szacowaniu kosztów migracji.
Pamięć podręczna wzbogacania nie jest kopią zapasową ani rejestrem ukończenia migracji. Powtarzające się przerwy lub awarie umiejętności mogą zwiększyć ponowne przetwarzanie w przypadku dużych źródeł. Zweryfikuj reprezentatywne obciążenie przed założeniem, że buforowanie zmniejsza koszt lub czas trwania ponownej kompilacji.
Dodawanie drugiego pola wektora w tym samym indeksie
Ta procedura służy do pozyskiwania danych w trybie push zarządzanego przez aplikację, a nie wbudowanych potoków indeksatora. Użytkownicy indeksatora muszą odtworzyć indeks z danych źródłowych za pomocą nowego indeksatora.
Zachowaj stare i nowe pola wektorów podczas wypełniania i testowania zamiennika. Takie podejście pozwala uniknąć tworzenia drugiego kompletnego indeksu, ale uzupełnianie konkuruje z ruchem produkcyjnym i nie gwarantuje nieprzerwanej obsługi.
- Upewnij się, że przepływ pozyskiwania obsługuje zmiany schematu i modułu zapisywania. Nie zakładaj, że wygenerowany indeks dla źródła wiedzy umożliwia dowolne dostosowanie. Przed zapisaniem jakichkolwiek dokumentów sprawdź pojemność obu zestawów wektorów i przeanalizuj ryzyko częściowej aktualizacji.
- Dodaj nowe pole wektorowe oraz zgodny profil wektorowy, konfigurację algorytmu i wektoryzator, w stosownych przypadkach. Użyj wymiarów i ustawień podobieństwa modelu zastępczego. Istniejące dokumenty początkowo mają wartości null w nowym polu.
- Zachowaj zapytania produkcyjne na starym polu wektorowym i w zgodnym modelu zapytań. Skonfiguruj wstrzymanie zapisu albo skoordynowany zapis równoległy dla nowych i zmienionych dokumentów. Podczas podwójnego zapisu wygeneruj oba embeddingi na podstawie tej samej autorytatywnej wersji treści i jawnie obsłuż błędy.
- Wypełnij nowe pole docelowym tekstem w każdym istniejącym dokumencie. Użyj kontrolek w Make backfill bounded and restartable. Zachowaj niepowiązaną zawartość, uprawnienia i stare wektory.
- Uzgodnij spójność wszystkich zamierzonych kluczy dokumentów i poprawek źródłowych w obrębie uzgodnionej granicy synchronizacji. Usuń brakujące wektory, nieudane operacje zapisu, usunięcia i zmiany uprawnień. Same zgodne liczby dokumentów nie potwierdzają pełnego pokrycia.
- Zakończ testowanie danych, dostępu i pobierania w odniesieniu do nowego pola przed przełączeniem zapytań produkcyjnych.
- Przełącz ścieżkę zapytania tego samego indeksu, zachowując starą ścieżkę przez uzgodniony okres możliwości wycofania. Utrzymuj stare wektory aktualne w tym okresie lub zachowaj przetestowaną ścieżkę nadrabiania zaległości.
- Po oknie wycofywania i akceptacji przestań generować stare osadzanie. Opcjonalnie wyczyść stare wartości wektorów za pomocą przetestowanego procesu aktualizacji dokumentu. Stare pole pozostaje w schemacie, dopóki nie przebudujesz indeksu.
Nie próbuj wyłączać starego pola, zmieniając jego searchable atrybut. Zmiana tego atrybutu lub usunięcie pola wymaga ponownej kompilacji. Pozostawienie zdefiniowanego pola nie wymaga wykonywania względem niego zapytania.
Ogranicz backfill i zapewnij możliwość wznowienia
Oddziel uzupełnianie danych historycznych od bieżącego przetwarzania. Przetwórz początkowy korpus raz, obsługuj nową i zmienioną zawartość przez bieżącą ścieżkę i uzgodnij przed przełączeniem. Ciągłe zmiany źródła mogą wymagać więcej niż jednego przebiegu uzgadniania.
Użyj śledzenia postępu, aby uniknąć niepotrzebnych wywołań osadzania, oraz koordynacji autorów, aby zapobiec nieaktualnym aktualizacjom. Te kontrolki zarządzane przez aplikację rozwiązują różne problemy.
| Control | Korzystanie | Limitation |
|---|---|---|
| Wersja migracji i gotowość | Śledź wersję kontraktu osadzania i wersję źródłową używaną dla nowego wektora. Przetwarzaj brakujące lub nieaktualne zadania; odnotuj zakończenie dopiero po pomyślnym zapisie wektora. | Wartość logiczna, taka jak vectorV2Ready sama, nie dowodzi świeżości po zmianie źródła. Znacznik nie jest blokadą. |
| Deterministyczny punkt kontrolny | Utrwalaj stabilny punkt kontrolny klucza umożliwiającego sortowanie/filtrowanie lub kanonicznego kursora źródła dla ograniczonego przebiegu. Zachowaj klucze, które zakończyły się niepowodzeniem, aby ponowić próbę przed zadeklarowaniem ukończenia przebiegu. | Klucz dokumentu nie jest automatycznie znacznikiem utworzenia. Nowe lub zmodyfikowane rekordy za kursorem wymagają odtwarzania lub uzgadniania. Stronicowanie wyszukiwania nie jest migawką transakcyjną. |
| Poprawka źródłowa lub skrót zawartości | Porównaj zawartość i kontrakt embeddingu używany dla wektora z bieżącym stanem źródła. Pomiń już bieżące, niezmienione rekordy. | Sprawdzanie poprawek przed zapisem nie zapobiega zmianie między sprawdzaniem a zapisem. Uwzględnij w porównaniu wszystkie dane wejściowe do osadzania i przetwarzanie wstępne. |
Przechowuj postęp w zewnętrznym trwałym rejestrze lub odpowiednich polach indeksu. Jeśli filtrujesz według znaczników indeksu, skonfiguruj ich typy pól i możliwość filtrowania dla tych zapytań. Nie oznaczaj zakończenia pracy, gdy jego zapis wektorowy nadal oczekuje lub nie powiódł się.
Koordynuj historyczne i bieżące procesy zapisujące dla każdego klucza dokumentu. Na przykład należy kierować oba przez jednego właściciela procesu importu, który serializuje zmiany i odrzuca nieaktualne poprawki źródłowe. Sam znacznik nie może zatrzymać ukończenia starego żądania osadzania po nowszym zapisie i zastąpieniu go.
Nie polegaj na kolejności operacji w partii, ponowieniach niezmienionych, nieaktualnych danych ani na domniemanej gwarancji warunkowej aktualizacji na poziomie dokumentu. Jeśli nie możesz zapewnić niezawodnej kolejności i uzgadniania danych, zastosuj wstrzymanie operacji zapisu lub podejście z osobnym indeksem z odpowiednim planem synchronizacji.
W przypadku aktualizacji historycznych istniejących rekordów należy wziąć pod uwagę mergebłąd , który kończy się niepowodzeniem, gdy rekord już nie istnieje. Przestarzały mergeOrUpload lub upload może odtworzyć usunięty rekord. Koordynuj usuwanie i zmiany uprawnień przy użyciu tego samego przepływu pozyskiwania i sprawdzaj wyniki indeksowania każdego dokumentu.
Korzystanie z przykładów migracji
W poniższych przykładach referencyjnych pokazano ponowne osadzanie wyeksportowanego tekstu do nowego indeksu docelowego. Postępuj zgodnie z informacjami w ich plikach README dotyczącymi zależności, uwierzytelniania, konfiguracji, poleceń i walidacji.
Te przykłady korzystają z przepływów pracy typu push zarządzanych przez aplikację. Nie są to narzędzia migracji dla istniejącego wbudowanego potoku indeksatora. W przypadku wbudowanych indeksatorów wykonaj pełną procedurę przebudowy źródła z użyciem nowego indeksu i indeksatora.
| Sample | Przepływ pracy oparty na eksporcie | Przepływ pracy dla drugiego pola w tym samym indeksie |
|---|---|---|
| Migracja modelu osadzania Python | Utwórz kopię zapasową kwalifikującego się zamrożonego indeksu źródłowego, zweryfikuj identyczne przywracanie, ponownie wygeneruj wybrane pole wektorowe i przywróć do nowego obiektu docelowego. Zawiera funkcję osadzania i opcjonalny przykład potoku pozyskiwania obiektów blob. | Zaplanowano w tej przykładowej lokalizacji. Wykonaj procedurę second-field; sprawdź plik README pod kątem dostępnej implementacji. |
| Migracja modelu osadzania .NET | Utwórz pełną linię bazową za pomocą narzędzia do tworzenia/przywracania kopii zapasowych, przygotuj artefakty do ponownego osadzenia i opcjonalnie przywróć je do nowego miejsca docelowego. Używa oddzielnie wdrożonej funkcji osadzania. | Zaplanowano w tej przykładowej lokalizacji. Wykonaj procedurę second-field; sprawdź plik README pod kątem dostępnej implementacji. |
Przepływy pracy oparte na eksportowaniu korzystają z uwierzytelnionych tras embeddingów dokumentów i zapytań. Ich wybory fast i pro to konfiguracje modeli właściwe dla danego przykładu, a nie ogólne przełączniki dla dowolnych dostawców. Zweryfikuj wszelkie dostosowania względem rzeczywistych interfejsów modelu zastępczego. Ich procedura jest:
- Przejrzyj wymagania wstępne dotyczące schematu, klucza, magazynu i uwierzytelniania wybranej próbki. Uruchom testy offline przed operacjami w chmurze.
- Zablokuj wszystkie mające zastosowanie źródłowe moduły zapisujące podczas tworzenia kopii zapasowej. Potwierdzenie z poziomu wiersza polecenia nie zatrzymuje indeksatorów ani innych aplikacji.
- Utwórz pełną linię bazową w nowym katalogu wyjściowym. Odrzuć częściowe eksporty lub niekompletne artefakty jako dane wejściowe migracji. Jeśli wznowisz operacje zapisu źródłowego, przechwyć i odtwórz te zmiany przed przełączeniem.
- Zweryfikuj trasy dokumentów i zapytań funkcji osadzania, w tym uwierzytelnianie i zmierzone wymiary danych wyjściowych.
- Wygeneruj wektory zastępcze i załaduj nowy indeks docelowy. Użyj nowych katalogów artefaktów i nazw docelowych zgodnie z przykładem. Traktuj kody zakończenia różne od zera i błędy poszczególnych dokumentów jako błędy, a nie za zakończenie.
- Skonfiguruj przyszłe pozyskiwanie danych w celu wygenerowania zgodnych wektorów. Przykłady nie migrują automatycznie istniejących indeksatorów, źródeł danych, zestawów umiejętności, aliasów ani zasobów modelu zewnętrznego.
Próbki oparte na eksporcie ponownie wygenerują jedno wybrane pole wektora najwyższego poziomu z jednego pola tekstowego najwyższego poziomu. Nie zakładaj, że obsługują pola zagnieżdżone lub wielomodalne, wszystkie przepływy uprawnień ani dowolne schematy projekcji. Zmieniają również konfigurację kompresji wybranego profilu wektorowego. Przejrzyj algorytm i ustawienia magazynu obiektu docelowego.
Opcjonalny potok Python jest przykładem potoku Blob dla całego dokumentu, a nie rekonstrukcją istniejącego fragmentowania, projekcji lub konfiguracji zabezpieczeń. Należy go używać tylko wtedy, gdy kontrakt pozyskiwania danych jest zgodny z wymaganiami.
Weryfikowanie danych, dostępu i pobierania
Przed wprowadzeniem zmian w środowisku produkcyjnym przetestuj wybrane podejście do migracji w środowisku nieprodukcyjnym przy użyciu reprezentatywnego przykładu własnych danych i zapytań. Zweryfikuj jakość pobierania, dostęp, wydajność, przełączenie i wycofywanie pod kątem kryteriów akceptacji zdefiniowanych wcześniej.
Testuj etapami: zacznij od małego, reprezentatywnego zestawu danych, zweryfikuj w pełni wypełnione środowisko docelowe i przeprowadź próbę przełączenia oraz wycofania. Uruchamiaj testy obciążeniowe względem oczekiwanego ruchu. Przykładowe testy w trybie offline pomagają sprawdzić zachowanie narzędzia, ale nie zastępują kompleksowego testowania z wdrożonym modelem, tożsamościami, konfiguracją sieci i aplikacją.
Sprawdzanie danych i konfiguracji
- Porównaj schemat docelowy z zamierzonymi zmianami. Przejrzyj niepowiązane pola, profile i zależności pod kątem niezamierzonych różnic.
- Uzgodnij klucze dokumentów, powiązania nadrzędny-podrzędny, oczekiwane wartości niewektorowe, usunięcia i aktualność w uzgodnionym punkcie synchronizacji.
- Sprawdź, czy wektory zastępcze są wypełniane, skończone i mają oczekiwane wymiary. Rozwiąż problemy z nieudanym przesyłaniem i brakującymi embeddingami.
- Sprawdź, czy zarówno nowe dokumenty, jak i aktualizacje używają zastępczego kontraktu embeddingu.
- W przypadku ponownego kompilowania indeksatora sprawdź pełne początkowe załadowanie danych źródłowych, kolejne wykrywanie zmian i wznawianie po przerwanym przebiegu. Uzgodnij przewidywane fragmenty i usunięcia w źródle, zamiast traktować resetowanie indeksatora jako oczyszczanie.
- W przypadku migracji drugiego pola sprawdź, czy gotowość odpowiada bieżącej rewizji źródła i kontraktowi osadzania, a nie tylko zapełnionemu wektorowi.
- W przypadku uzupełniania danych zarządzanego przez aplikację przerywaj i wznawiaj przetwarzanie. Sprawdź, czy zatwierdzony postęp pomija ukończoną, niezmienioną pracę i czy rekordy zakończone niepowodzeniem pozostają możliwe do ponowienia. Niekompletna praca może zostać uruchomiona ponownie; nie traktuj tego jako gwarancji jednorazowego wykonania.
- Przetestuj aktualizację i usunięcie, gdy wcześniejsze żądanie utworzenia osadzenia jest w trakcie realizacji. Upewnij się, że nieaktualne zadanie nie może zastąpić bieżącego wektora, fałszywie oznaczyć go jako gotowy lub utworzyć ponownie usuniętą zawartość.
- W przypadku uzupełniania tego samego indeksu przetestuj rekordy dodane lub zmienione za punktem kontrolnym. Sprawdź uzgadnianie i zachowywanie starych wektorów i uprawnień, w tym odpowiednich
stored: falseaktualizacji.
W przypadku identycznej kopii odniesienia porównaj wierność zawartości, w tym wektory. W przypadku migracji modelu nie oczekuje się, że stare i nowe wektory będą równe liczbowo.
Sprawdzanie dostępu i wykonywania zapytań
- Przetestuj autoryzowane i nieautoryzowane tożsamości z reprezentatywną chronioną zawartością. Zachowaj obsługiwany przepływ uprawnień; nie zastępuj go niefiltrowanym ani podwyższonym mechanizmem zastępczym.
- Przećwicz wektoryzację w czasie wykonywania zapytania za pomocą rzeczywistej tożsamości wyszukiwania i ścieżki sieciowej.
- Sprawdź wektory zapytań generowane przez klienta, wybrane pola, profile i pamięci podręczne embeddingów. Przetestuj unieważnianie i wersjonowanie pamięci podręcznej przy użyciu zimnych i ciepłych pamięci podręcznych, w tym zmian zawartości i uprawnień.
- Testuj aplikacje i zależnych odbiorców pobierania, a nie tylko bezpośrednie żądania do indeksu docelowego.
Ocena jakości i operacji
- Porównaj trafność względem ocenianych zapytań i zadań biznesowych, w tym ważnych języków, filtrów i typów zapytań.
- Przetestuj działanie zapytań wektorowych, hybrydowych i semantycznych używanych przez aplikację. Przejrzyj progi oparte na wynikach zamiast zakładać, że surowe wyniki wektorowe są porównywalne między modelami.
- Mierzenie rozkładów opóźnień, przepływności, ograniczania przepustowości, magazynu i osadzania użycia pod reprezentatywnym obciążeniem.
- Upewnij się, że cel spełnia wymagania dotyczące aktualności, dostępu, jakości i budżetu operacyjnego.
Jeśli sprawdzenia się nie powiodą, zachowaj ruch produkcyjny na istniejącej ścieżce podczas rozwiązywania problemu. Nie przełączaj się tylko dlatego, że pełne obciążenie się zakończyło.
Przełącz ruch i zachowaj możliwość wycofania
Koordynuj zmianę w obszarach pozyskiwania i wykonywania zapytań. Przełączanie samej nazwy indeksu nie jest wystarczające, gdy aplikacja generuje wektory zapytań.
- Osiągnij uzgodnioną granicę zapisu lub powtarzania zmian i ukończ testowanie akceptacyjne.
- W przypadku bezpośredniego przełączenia indeksu przełącz element docelowy indeksu aplikacji, konfigurację osadzania zapytań, wybrane pole wektora i pamięci podręczne jako skoordynowane wdrożenie. W przypadku migracji jednorazowej opartej na aliasach postępuj zgodnie z instrukcjami Przełączanie indeksu pomocniczego z aliasem; Nie traktuj aliasu i zmian modelu jako niepodzielnych.
- W przypadku migracji opartej na indeksatorze zachowaj nowy indeksator przeznaczony dla nowego indeksu fizycznego i skonfiguruj bieżący harmonogram zgodnie z potrzebami. Zaktualizuj źródła wiedzy poprzez obsługiwaną konfigurację celu.
- Upewnij się, że operacje odczytu i zapisu w środowisku produkcyjnym docierają do zamierzonego miejsca docelowego. Przetestuj nowy dokument, aktualizację, usunięcie i odpowiednią zmianę uprawnień.
- Monitoruj uzgodnioną istotność i sygnały operacyjne podczas okna wycofywania.
- Wycofaj przestarzałe ścieżki ingestii i zależności modelu dopiero po spełnieniu wymagań dotyczących akceptacji i retencji danych. W przypadku migracji oddzielnego indeksu wycofaj stary indeks. W przypadku migracji do drugiego pola zachowaj aktywny indeks i postępuj zgodnie ze wskazówkami dotyczącymi oczyszczania starego wektora.
Zachowaj zgodną ścieżkę zapytania, a także stary indeks. Jeśli stary model zostanie wycofany lub stanie się niedostępny, sam stary indeks może nie zapewnić użytecznego rollbacku. Przećwicz wycofanie, dopóki stary model pozostaje dostępny.
Uwzględnij zapisy zaakceptowane po przełączeniu przed ponownym przekierowaniem ruchu. Wycofanie aliasu nie powoduje skopiowania tych zapisów do starego indeksu.
Przełącz tę samą ścieżkę zapytania indeksu
W przypadku migracji drugiego pola zachowaj nazwę indeksu i zmień konfigurację zapytania aplikacji. Alias indeksu nie wybiera pola wektora.
- Przeprowadź testy akceptacyjne i końcowe uzgodnienie dotyczące nowego pola.
- Przełącz
vectorQueries.fieldsna nowe pole wektorowe wraz ze zgodnym modelem osadzania zapytań. W przypadku zapytań tekstowych opartych na wektorach sprawdź wektoryzator skojarzony z profilem nowego pola. Aktualizuj pamięci podręczne i wszystkie zależne ścieżki zapytań. - Przetestuj odczyty i bieżące zapisy w środowisku produkcyjnym, w tym aktualizacje, usuwanie i zmiany uprawnień. Kontynuuj utrzymywanie obu ścieżek osadzania w okresie wycofywania lub zachowaj przetestowany sposób zsynchronizowania starego pola.
- Jeśli wymagane jest wycofanie, zsynchronizuj stare pole i razem przywróć jego zgodną konfigurację zapytania. Stary model musi być nadal dostępny.
- Po zaakceptowaniu i po upływie okna wycofywania wyłącz zapisy do starego modelu i wykonaj wszelkie planowane czyszczenie starych wektorów.
Wyczyszczenie starych wektorów spowoduje usunięcie tej natychmiastowej ścieżki wycofywania. Przetestuj czyszczenie przy użyciu rzeczywistego typu kolekcji wektorów, interfejsu API i zachowania aktualizacji oraz zachowaj nowe pole i niepowiązaną zawartość. Usuwanie fizyczne nie jest natychmiastowe; przed ponowną oceną pojemności monitoruj statystyki indeksów.
Przełączanie indeksu pomocniczego przy użyciu aliasu
Jeśli aplikacja odwołuje się już do aliasu indeksu, zachowaj tę nazwę aliasu podczas ponownego kompilowania indeksu. Utwórz i zweryfikuj indeks pomocniczy w tej samej usłudze IQ rozwiązania Foundry, a następnie zmień mapowanie aliasu, aby wskazywało na niego. Obsługiwane wywołania aplikacji nadal używają tej samej nazwy, a ich odwołania do nazwy indeksu pozostają bez zmian.
- Upewnij się, że obsługiwane operacje dokumentu aplikacji odwołują się do aliasu, a nie nazwy indeksu fizycznego. Jeśli używają nazwy fizycznej, skonfiguruj je do używania aliasu przed poleganiem na przełączeniu opartym na aliasie.
- Utwórz, wypełnij i przetestuj indeks pomocniczy, gdy alias nadal wskazuje na istniejący indeks.
- Wstrzymaj zapytania specyficzne dla modelu i procesy zapisujące używające aliasu. Opróżnij żądania w toku i ponowne próby w kolejce, a następnie zakończ ostateczną synchronizację.
- Zaktualizuj istniejący alias, aby zastąpić jego cel indeksu indeksem pomocniczym.
- Zachowaj wstrzymanie ruchu przez co najmniej 10 sekund po aktualizacji, aby zezwolić na propagację aliasów. Skonfiguruj embeddingi po stronie klienta, wybrane pola wektorowe i pamięci podręczne dla indeksu zastępczego. Zweryfikuj żądania za pośrednictwem aliasu przed wznowieniem zapytań i wypchnięciem operacji zapisu. Pozostaw ruch wstrzymany, jeśli walidacja zakończy się niepowodzeniem.
Propagacja aktualizacji aliasu może potrwać do 10 sekund. Natychmiastowe przełączenie embeddingów generowanych po stronie klienta może wysyłać wektory modelu zastępczego do starego indeksu w tym interwale. Zastosuj tę samą sekwencję wstrzymania, opróżniania, propagacji i walidacji podczas wycofywania aliasu.
Jeśli nie możesz wstrzymać ruchu, użyj routingu aplikacji, który przypina każde zapytanie lub wypycha zapis do indeksu fizycznego i zgodnej konfiguracji osadzania wersji. Zachowaj parowanie przez ponawianie prób. Nie polegaj na modyfikowalnym aliasie, aby atomowo przełączać indeks i osadzanie generowane przez klienta.
Alias jest ograniczony do jednej usługi Foundry IQ. Jeśli indeks docelowy znajduje się w innej usłudze, zaktualizuj oddzielnie punkt końcowy usługi aplikacji; alias nie może przekierowywać żądań między usługami.
Alias wskazuje na jeden indeks naraz; nie dystrybuuje żądań między stare i nowe indeksy ani nie udostępnia transakcji między zasobami. Nie powoduje ona również ponownego generowania wektorów ani nie zmienia modelu osadzania używanego przez aplikację.
Indeksatory i źródła wiedzy do indeksowania usługi Foundry IQ nie mogą używać aliasu jako elementu docelowego. Zaktualizuj te konkretne odwołania do indeksu oddzielnie.
Rozważ ryzyko migracji tego samego indeksu
W przypadku migracji drugiego pola zachowaj stare i nowe przestrzenie osadzeń w odpowiednich polach podczas wypełniania i zweryfikuj sposób obsługi brakujących wektorów przez zapytania. Nie można zmienić wymiarów istniejącego pola po utworzeniu; zdefiniuj wymiary zastępcze w nowym polu. Przejrzyj inne właściwości pola pod kątem zmian, które wymagają ponownego przebudowania indeksu.
Przed uzupełnieniem danych sprawdź sposób działania częściowych aktualizacji. W przypadku istniejących pól wektorowych z użyciem stored: false, pominięcie wektorów w odpowiedniej aktualizacji merge lub mergeOrUpload może spowodować utratę danych wektorowych. Zobacz Opcje przechowywania wektorów.
To ryzyko ma zastosowanie w przypadku wypełniania nowego pola lub późniejszego wyczyszczenia starego pola. Zachowaj lub odtwórz każdy wektor, którego dotyczy aktualizacja. Jeśli przepływ ingestii nie może tego zrobić, użyj innego podejścia do migracji.
Zachowaj oba pola wektorów przez walidację i okno wycofywania. Dodanie drugiego pola zachowuje stare wektory, ale nadal wymaga kontroli spójności, weryfikacji dostępu i przetestowanego planu wycofywania.
Rozwiązywanie problemów z migracją
| Objaw | Action |
|---|---|
| Eksportowanie kończy się niepowodzeniem lub brakuje wymaganych pól. | Sprawdź możliwość odzyskania, magazyn wektorów, autoryzację zapytań i wymagania dotyczące stronicowania przykładu. Przebuduj ze źródła, jeśli pełny eksport nie jest możliwy. |
| Generowanie wektorów lub zapytania zgłaszają błędy wymiarów. | Zmierz wyniki modelu zastępczego i sprawdź razem definicję pola, profil i generator zapytań. Nie można zmienić wymiarów istniejącego pola; utwórz nowe pole lub indeks z wymaganymi wymiarami. W przypadku migracji tego samego indeksu zachowaj stare pole przez okres możliwości wycofania. Nie dopełniaj ani nie obcinaj wektorów, chyba że model jawnie obsługuje tę konfigurację. |
| Liczba dokumentów jest zgodna, ale zawartość jest nieaktualna lub brakuje rekordów. | Uzgodnij klucze i wartości pól na granicy synchronizacji. Sprawdź usunięcia i zmiany wprowadzone podczas eksportowania lub backfillu. |
| Backfill wielokrotnie osadza niezmienione dokumenty. | Śledź pomyślnie wykonane operacje, osadzając wersję kontraktu osadzania i rewizję źródła. Sprawdź trwałość punktu kontrolnego, ponowienia dla nieudanych kluczy oraz wybór brakujących lub nieaktualnych znaczników. |
| Nowe wektory są nieaktualne, mimo że rekordy są oznaczone jako gotowe. | Koordynuj zapisy historyczne i bieżące dla każdego klucza. Znacznik nie zapobiega przestarzałym zapisom. Uzgodnij z bieżącymi wersjami źródła przed przełączeniem. |
| Usunięte rekordy pojawiają się ponownie podczas backfillu. | Zapobiegaj ponownemu tworzeniu usuniętej zawartości przez nieaktualne operacje upsert. Skoordynuj usuwanie z uzupełnianiem danych i rozważ aktualizacje, które wymagają istniejącego dokumentu. |
| Funkcja działa lokalnie, ale zapytania wyszukiwania kończą się niepowodzeniem. | Sprawdź uwierzytelnianie Search-to-Function, odbiorcę, autoryzację wywołującego, dostęp do sieci i połączenie funkcji z modelem. Zobacz Niestandardowy wektoryzator interfejsu API sieci Web. |
| Pomyślnie załadowane są tylko niektóre dokumenty. | Sprawdź wyniki poszczególnych dokumentów, rozwiąż błędy i ponów próbę zgodnie z planem importu danych. Zobacz Rozwiązywanie problemów z indeksatorami w przypadku ładowania opartego na indeksatorach. |
| Decyzje dotyczące dostępu różnią się od decyzji w źródle. | Zachowaj cel poza produkcją. Przed ponownym testowaniem tożsamości reprezentatywnych przejrzyj obsługiwany przepływ pozyskiwania uprawnień i skojarzenia dokumentów. |
| Jakość pobierania pogarsza się. | Sprawdź spójność modelu, ustawienia zadań, przetwarzanie wstępne, fragmentowanie, metryka podobieństwa i kompresja. Oceń ponownie z reprezentatywnymi zapytaniami przed zmianą ruchu produkcyjnego. |