Zarządzanie pamięcią podręczną wzbogacania (wersja zapoznawcza)

Note

Wyszukiwanie AI platformy Azure jest dostępna za pośrednictwem portalu Azure, interfejsów API REST i Azure SDKs. Jest także podstawą Foundry IQ — zarządzanej warstwy wiedzy, która przekształca treści przedsiębiorstwa w bazy wiedzy wielokrotnego użytku z uwzględnieniem uprawnień dla agentów w portalu Microsoft Foundry.

Ważne

Funkcje, możliwości lub właściwości oznaczone (wersja zapoznawcza) nie są objęte umową dotyczącą poziomu usług, nie są zalecane w przypadku obciążeń produkcyjnych i mogą ulec zmianie lub ograniczeniu, zanim staną się one ogólnie dostępne. Warunki Wyszukiwanie AI platformy Azure wersji zapoznawczej mają zastosowanie do wszystkich funkcji w wersji zapoznawczej, niezależnie od tego, czy jest ona autonomiczna, czy częścią ogólnie dostępnej funkcji.

Pamięć podręczna wzbogacania (wersja zapoznawcza) to opcjonalna funkcja, która przechowuje wzbogaconą zawartość utworzoną podczas wykonywania zestawu umiejętności. Zachowuje zawartość między przebiegami, dzięki czemu tylko zmienione umiejętności i dokumenty wymagają ponownego przetwarzania. Nie jest to kopia zapasowa danych wyjściowych zestawu umiejętności, stanu indeksatora ani indeksowanych dokumentów.

Pamięć podręczną wzbogacania można utworzyć w Azure Storage. Pamięć podręczna zawiera dane wyjściowe z łamania dokumentów oraz dane wyjściowe każdej umiejętności dla każdego dokumentu. Chociaż buforowanie wiąże się z opłatami (wykorzystuje Azure Storage), całkowity koszt wzbogacania jest zmniejszony, ponieważ koszty magazynowania są niższe niż koszty wyodrębniania obrazów i przetwarzania danych przez sztuczną inteligencję.

Jeśli skonfigurujesz pamięć podręczną wzbogaceń, w tym artykule wyjaśniono, jak zarządzać aktualizacjami umiejętności i źródła danych, aby jak najlepiej wykorzystać wzbogacenia zapisane w pamięci podręcznej.

Wymagania wstępne

Ograniczenia

Ostrożność

Jeśli używasz indeksatora SharePoint (wersja zapoznawcza), unikaj wzbogacania przyrostowego. W pewnych okolicznościach pamięć podręczna traci ważność. Aby go ponownie załadować, wykonaj resetowanie indeksatora i pełne ponowne kompilowanie.

Duże źródła danych mają dodatkowe ograniczenie pamięci podręcznej.

Ostrożność

W przypadku dużych źródeł danych pamięć podręczna wzbogacania może wydłużyć całkowity czas ponownego przetwarzania, gdy występują długotrwale wykonywane operacje, powtarzające się przerwy lub częste niepowodzenia umiejętności. Indeksator przedkłada poprawność nad minimalizowanie ponownego przetwarzania, dlatego zaległości w pamięci podręcznej spowodowane powtarzającymi się przerwaniami nasilają ponawianie prób.

Aby uporać się z rosnącymi zaległościami w pamięci podręcznej, podziel źródło danych na mniejsze kontenery lub foldery wirtualne. Następnie użyj indeksatorów równoległych wskazujących ten sam indeks. Aby usunąć powiązanie pamięci podręcznej, ustaw właściwość cache na null w indeksatorze.

Konfiguracja pamięci podręcznej

Fizycznie pamięć podręczna jest przechowywana w kontenerze obiektów Blob i tabelach na koncie Azure Storage, przy czym każda z nich jest związana z jednym indeksatorem. Każdy indeksator ma przypisany unikatowy i niezmienny identyfikator pamięci podręcznej odpowiadający kontenerowi, którego używa.

Pamięć podręczna jest tworzona podczas określania cache właściwości i uruchamiania indeksatora. Można buforować tylko wzbogaconą zawartość. Jeśli indeksator nie ma dołączonego zestawu umiejętności, buforowanie nie ma zastosowania.

Poniższy przykład ilustruje indeksator z włączonym buforowaniem. Aby uzyskać pełne instrukcje, zobacz Konfigurowanie buforowania wzbogacania .

POST https://[YOUR-SEARCH-SERVICE-NAME].search.windows.net/indexers?api-version=2026-08-01-preview
    {
        "name": "myIndexerName",
        "targetIndexName": "myIndex",
        "dataSourceName": "myDatasource",
        "skillsetName": "mySkillset",
        "cache" : {
            "storageConnectionString" : "<Your storage account connection string>",
            "enableReprocessing": true
        },
        "fieldMappings" : [],
        "outputFieldMappings": [],
        "parameters": []
    }

Zarządzanie pamięcią podręczną

Indeksator zarządza cyklem życia pamięci podręcznej. Usunięcie indeksatora spowoduje również usunięcie jego pamięci podręcznej. Jeśli właściwość indeksatora zostanie ustawiona cache na wartość null lub zmienisz parametry połączenia, istniejąca pamięć podręczna zostanie usunięta podczas następnego uruchomienia indeksatora.

Podczas gdy wzbogacanie przyrostowe jest przeznaczone do wykrywania i reagowania na zmiany bez interwencji, można ustawić parametry w celu wywoływania określonych zachowań:

Określanie priorytetów nowych dokumentów

Właściwość cache zawiera enableReprocessing parametr, który określa, czy zawartość buforowana jest ponownie przetwarzana. Jeśli ustawiono wartość true (domyślnie), indeksator ponownie przetwarza dokumenty zapisane w pamięci podręcznej po ponownym uruchomieniu, jeśli wpływa na nie aktualizacja umiejętności.

Gdy wartość false, indeksator nie przetwarza ponownie istniejących dokumentów, co określa priorytet nowej zawartości. Ustaw enableReprocessing wartość false tylko tymczasowo. Utrzymywanie zgodności przez większość czasu gwarantuje, że zarówno nowe, jak i istniejące dokumenty pozostaną prawidłowe dla bieżącej definicji kompetencji.

Pomijanie oceny zestawu umiejętności

Modyfikowanie umiejętności zwykle idzie w parze z ponownym przetwarzaniem tej umiejętności. Jednak niektóre zmiany umiejętności nie powinny wyzwalać ponownego przetwarzania. Na przykład wdrożenie niestandardowej umiejętności w nowej lokalizacji lub przy użyciu nowego klucza dostępu. Te zmiany są zwykle modyfikacjami peryferyjnymi, które nie wpływają na istotę danych wyjściowych umiejętności.

Jeśli wiesz, że zmiana umiejętności jest powierzchowna, przesłoń ocenę umiejętności, ustawiając disableCacheReprocessingChangeDetection parametr na true:

  1. Wywołaj aktualizację zestawu umiejętności i zmodyfikuj definicję zestawu umiejętności.
  2. disableCacheReprocessingChangeDetection=true Dołącz parametr w żądaniu.
  3. Prześlij zmianę.

Po ustawieniu tego parametru zatwierdzane są tylko aktualizacje definicji zestawu umiejętności. Zmiana nie jest oceniana pod kątem wpływu na istniejącą pamięć podręczną. Użyj wersji zapoznawczej interfejsu API, 2020-06-30-Preview lub nowszej. Użyj najnowszego interfejsu API w wersji zapoznawczej.

PUT https://[servicename].search.windows.net/skillsets/[skillset name]?api-version=2026-08-01-preview&disableCacheReprocessingChangeDetection

Pomijanie kontroli poprawności źródła danych

Większość zmian definicji źródła danych unieważnia pamięć podręczną. Jednak w przypadkach, gdy wiadomo, że zmiana nie powinna unieważniać pamięci podręcznej — takich jak zmiana parametry połączenia lub rotacja klucza w storage account — należy dodać parametr ignoreResetRequirement do aktualizacji data source. Ustaw ten parametr na wartość true, aby umożliwić wykonanie zatwierdzenia bez wywoływania warunku resetu, który skutkowałby ponownym utworzeniem i wypełnieniem wszystkich obiektów od podstaw.

PUT https://[search service].search.windows.net/datasources/[data source name]?api-version=2026-08-01-preview&ignoreResetRequirement

Wymuszanie oceny zestawu umiejętności

Celem pamięci podręcznej jest uniknięcie niepotrzebnego przetwarzania. Załóżmy jednak, że wprowadzisz zmianę w umiejętności, której indeksator nie wykryje (na przykład zmiany czegoś w kodzie zewnętrznym, takiego jak umiejętność niestandardowa).

W takim przypadku użyj interfejsu API Reset Skills, aby wymusić ponowne przetworzenie określonej umiejętności, w tym wszelkich kolejnych umiejętności, które zależą od danych wyjściowych tej umiejętności. Ten interfejs API akceptuje żądanie POST z listą umiejętności, które powinny zostać unieważnione i oznaczone do ponownego przetwarzania. Po zresetowaniu umiejętności wykonaj żądanie uruchom indeksatora , aby wywołać przetwarzanie potoku.

Ponowne buforowanie określonych dokumentów

W przypadku zresetowania indeksatora wszystkie dokumenty w korpusie wyszukiwania są ponownie przetwarzane.

W scenariuszach, w których tylko kilka dokumentów wymaga ponownego przetwarzania, użyj polecenia Resetuj dokumenty (wersja zapoznawcza), aby wymusić ponowne przetwarzanie określonych dokumentów. Po zresetowaniu dokumentu indeksator unieważnia pamięć podręczną tego dokumentu. Indeksator następnie ponownie przetwarza dokument, odczytując go ze źródła danych. Aby uzyskać więcej informacji, zobacz Uruchamianie lub resetowanie indeksatorów, umiejętności i dokumentów.

Aby zresetować określone dokumenty, dołącz do żądania listę kluczy dokumentów odczytanych z indeksu wyszukiwania. Jeśli klucz odpowiada polu w zewnętrznym źródle danych, użyj wartości z indeksu wyszukiwania.

W zależności od sposobu wywoływania interfejsu API żądanie dołącza, zastępuje lub kolejkuje listę kluczy:

  • Wielokrotne wywołanie interfejsu API przy użyciu różnych kluczy dodaje nowe klucze do listy kluczy dokumentu do zresetowania.

  • Wywołanie interfejsu API z parametrem ciągu zapytania overwrite ustawionym na true zastępuje bieżącą listę kluczy dokumentów do zresetowania treścią żądania.

  • Wywołanie interfejsu API dodaje klucze dokumentów do kolejki zadań wykonywanych przez indeksator. Przy następnym uruchomieniu indeksatora, zgodnie z harmonogramem lub na żądanie, w pierwszej kolejności przetwarza on zresetowane klucze dokumentów, przed wszelkimi innymi zmianami ze źródła danych.

Poniższy przykład ilustruje żądanie zresetowania dokumentu:

POST https://[search service name].search.windows.net/indexers/[indexer name]/resetdocs?api-version=2026-08-01-preview
    {
        "documentKeys" : [
            "key1",
            "key2",
            "key3"
        ]
    }

Zmiany, które unieważniają pamięć podręczną

Po włączeniu pamięci podręcznej indeksator sprawdza zmiany w kompozycji potoku, aby zdecydować, która zawartość może być ponownie wykorzystywana i która zawartość wymaga ponownego przetwarzania. W tej sekcji wymieniono zmiany, które unieważniają pamięć podręczną, a następnie zmiany wyzwalające przetwarzanie przyrostowe.

Zmiana unieważniająca to taka zmiana, w której cała pamięć podręczna zostaje unieważniona. Na przykład aktualizowanie źródła danych powoduje unieważnienie zmiany. Oto pełna lista zmian w dowolnej części potoku indeksatora, które unieważniają Twoją pamięć podręczną:

  • Zmienianie typu źródła danych
  • Zmienianie kontenera źródła danych
  • Zmienianie poświadczeń źródła danych
  • Zmienianie zasad wykrywania zmian źródła danych
  • Zmienianie zasad wykrywania usuwania źródła danych
  • Zmienianie mapowań pól indeksatora
  • Zmienianie parametrów indeksatora:
    • Tryb analizowania
    • Wykluczone rozszerzenia nazw plików
    • Rozszerzenia nazwy pliku indeksowanego
    • Indeksowanie metadanych magazynu tylko w przypadku nadmiernie zapełnionych dokumentów
    • Rozdzielane nagłówki tekstu
    • Ogranicznik tekstu rozdzielanego
    • Katalog główny dokumentu
    • Akcja obrazu (zmiany sposobu wyodrębniania obrazów)

Zmiany wyzwalające przetwarzanie przyrostowe

Przetwarzanie przyrostowe ocenia definicję zestawu umiejętności i określa, które umiejętności należy ponownie uruchomić. Selektywnie aktualizuje części drzewa dokumentów, których dotyczy problem. Oto pełna lista zmian, które powodują przyrostowe wzbogacanie:

  • Zmiana typu umiejętności (aktualizowanie typu OData umiejętności)
  • Aktualizowanie parametrów specyficznych dla umiejętności, takich jak adres URL, wartości domyślne lub inne parametry
  • Zmiana danych wyjściowych umiejętności, na przykład gdy umiejętność zwraca dodatkowe lub inne dane wyjściowe
  • Zmiana parametrów wejściowych umiejętności skutkująca różnym rodowodem lub łańcuchowaniem umiejętności
  • Każde unieważnienie umiejętności nadrzędnej, jeśli zaktualizujesz umiejętność, która dostarcza dane wejściowe do tej umiejętności
  • Aktualizowanie lokalizacji projekcji magazynu wiedzy, co powoduje ponowne projekcje dokumentów
  • Zmiana projekcji magazynu wiedzy, co powoduje ponowne projekcje dokumentów
  • Zmiana mapowań pól wyjściowych na indeksatorze, co powoduje ponowne projekcje dokumentów do indeksu

Interfejsy API używane do buforowania

Interfejsy API w wersji zapoznawczej zapewniają dodatkowe właściwości indeksatorów. Użyj najnowszego interfejsu API w wersji zapoznawczej.

Użyj wersji ogólnie dostępnej w przypadku zestawów umiejętności i źródeł danych. Oprócz dokumentacji referencyjnej zobacz Konfigurowanie buforowania pod kątem wzbogacania przyrostowego , aby uzyskać szczegółowe informacje na temat kolejności operacji.

  • Ostatnia aktualizacja o