Eliminace volitelných vektorových instancí z úložiště

Azure AI Vyhledávač ukládá více kopií vektorových polí, která se používají v konkrétních úlohách. Pokud vaše scénáře hledání nevyžadují všechny tyto kopie, můžete pro tuto úlohu vynechat úložiště.

Mezi případy použití dodatečné kopie patří:

• Vrácení nezpracovaných vektorů v odpovědi dotazu nebo podpoře přírůstkových aktualizací obsahu vektoru
• Přebodování komprimovaných (kvantizovaných) vektorů jako technika optimalizace dotazu.

Odebrání úložiště je nevratné a pokud ho chcete znovu indexovat, je potřeba ho znovu indexovat.

Požadavky

• Vektorová pole v indexu vyhledávání s vectorSearch konfigurací určující hierarchický navigovatelný malý svět (HNSW) nebo úplný algoritmus K-Nearest Neighbor (KNN) a nový vektorový profil.

Způsob ukládání vektorových polí

¹ Tato kopie se také používá pro interní operace indexu a vyčerpávající vyhledávání KNN ve starších verzích rozhraní API v indexech vytvořených pomocí rozhraní API 2023. V novějších indexech se pole nakonfigurované eKNN skládá z vektorů s plnou přesností, takže není potřeba žádná další kopie.

Odstraňte zdrojové vektory (JSON data)

V definici vektorového pole je logická vlastnost, která určuje, stored zda je úložiště přiděleno pro načítání vektorového obsahu získaného během indexování (zdrojová instance). Ve výchozím nastavení je stored nastavena na true. Pokud v odpovědi dotazu nepotřebujete nezpracovaný vektorový obsah, může změna storedfalse uložit až 50% úložiště na pole.

Důležité informace o nastavení "stored": false:

• Vzhledem k tomu, že vektory nejsou čitelné člověkem, můžete je obecně vynechat z výsledků odeslaných do LLM ve scénářích RAG nebo z výsledků vykreslených na vyhledávací stránce. Pokud ale používáte vektory v podřízeného procesu, který využívá obsah vektorů, měli byste je zachovat.

• Pokud vaše strategie indexování používá částečné aktualizace dokumentů, například merge nebo mergeOrUpload u existujícího dokumentu, nastavení "stored": false zabrání službě Azure AI Vyhledávač v zachování existujícího vektoru, pokud je vektorové pole z požadavku na aktualizaci vynecháno. Do každé operace přeindexování musíte zahrnout celé vektorové pole (a nevectorová pole, která aktualizujete). V opačném případě dojde ke ztrátě vektorových dat bez chyby nebo upozornění. Chcete-li se vyhnout tomuto riziku úplně, nastavte "stored": true.

Pro nová vektorová pole v indexu vyhledávání nastavte "stored": false pro trvalé odstranění ukládání načitatelných dat pro vektorové pole. Následující příklad ukazuje definici vektorového pole s stored vlastností.

PUT https://[service-name].search.windows.net/indexes/demo-index?api-version=2026-04-01 
  Content-Type: application/json  
  api-key: [admin key]  

    { 
      "name": "demo-index", 
      "fields": [ 
        { 
          "name": "vectorContent", 
          "type": "Collection(Edm.Single)", 
          "retrievable": false, 
          "stored": false, 
          "dimensions": 1536, 
          "vectorSearchProfile": "vectorProfile" 
        } 
      ] 
    } 

Shrnutí klíčových bodů

• Platí pro pole s datovým typem vektoru.

• Ovlivňuje úložiště na disku, ne paměť a nemá žádný vliv na dotazy. Provádění dotazu používá samostatný vektorový index, který nemá vliv na stored vlastnost, protože kopie vektoru je vždy uložena.

• Vlastnost je nastavena během vytváření indexu stored u vektorových polí a je nevratná. Pokud chcete později načíst obsah, musíte index odstranit a znovu sestavit nebo vytvořit a načíst nové pole s novým přiřazením.

• Výchozí hodnoty jsou "stored": true a "retrievable": false. Ve výchozí konfiguraci je uložená kopie, která se dá načíst, ale ve výsledcích se automaticky nevrátí. Když je storedtrue, můžete přepínat retrievable mezi true a false kdykoli bez nutnosti přestavby indexu. Pokud stored je false, retrievable musí být false a nelze ho změnit.

Odeberte plnopřesné vektory

Původní vektory s plnou přesností se používají při operacích přeřaování komprimovaných (kvantovaných) vektorů. Cílem přehodnocení je zmírnit ztrátu informací z důvodu komprese. Výsledkem přepočítání skóre je získání větší sady kandidátských dokumentů z komprimovaného indexu s opětovným výpočtem skóre podobnosti za použití originálních vektorů nebo skalárního součinu. Pro fungování přepočítávání musí být původní vektory zachovány ve skladu pro určité scénáře. Výsledkem je, že zatímco kvantování snižuje využití paměti (využití velikosti vektorového indexu), mírně zvyšuje požadavky na úložiště, protože jsou uloženy komprimované i původní vektory. Dodatečné úložiště se přibližně rovná velikosti komprimovaného indexu.

Požadavky na změnu skóre podle přístupu kvantování:

• Rescoring skalárních kvantovaných vektorů vyžaduje zachování původních vektorů s plnou přesností.

• Rescoring binárních kvantovaných vektorů může používat buď původní vektory s plnou přesností, nebo tečkovaný součin binárního vkládání, který vytváří vysoce kvalitní výsledky hledání, aniž by bylo nutné odkazovat na vektory úplné přesnosti v indexu.

Doporučení pro přehodnocení skóre:

• Pro skalární kvantování zachovejte původní vektory s plnou přesností v indexu, protože jsou vyžadovány pro rescore.

• Pro binární kvantování buď zachovejte původní vektory úplné přesnosti pro nejvyšší kvalitu přeskórování, nebo zahoďte vektory s plnou přesností, pokud chcete přeskórovat na základě skalárního součinu binárních vektorů.

Vlastnost rescoreStorageMethod určuje, zda jsou uloženy vektory úplné přesnosti. V vectorSearch.compressions je vlastnost rescoreStorageMethod nastavena na preserveOriginals jako výchozí, což zachovává úplné přesné vektory pro schopnosti převzorkování a rescoringu, aby se snížil účinek ztrátové komprese na graf HNSW. Pokud nepotřebujete přehodnocení, nebo pokud jste použili binární kvantování a bodový součin pro přehodnocení, můžete snížit velikost úložiště vektorů nastavením rescoreStorageMethod na discardOriginals.

Nastavení této vlastnosti:

1. Použijte REST API Create Index, Create or Update Index nebo sadu SDK Azure.

2. Přidejte do indexu vectorSearch oddíl s profily, algoritmy a kompresemi.

3. Pod vectorSearch.compressions přidejte rescoringOptions s enableRescoring nastavenou na true, defaultOversampling nastavenou na kladné celé číslo a rescoreStorageMethod na discardOriginals pro binární kvantování a na preserveOriginals pro skalární kvantování.

   PUT https://[service-name].search.windows.net/indexes/demo-index?api-version=2026-04-01
   
   {
       "name": "demo-index",
       "fields": [. . . ],
       . . .
       "vectorSearch": {
           "profiles": [
               {
               "name": "myVectorProfile-1",
               "algorithm": "myHnsw",
               "compression": "myScalarQuantization"
               },
               {
               "name": "myVectorProfile-2",
               "algorithm": "myHnsw",
               "compression": "myBinaryQuantization"
               }
           ],
           "algorithms": [
             {
               "name": "myHnsw",
               "kind": "hnsw",
               "hnswParameters": {
                 "metric": "cosine",
                 "m": 4,
                 "efConstruction": 400,
                 "efSearch": 500
               },
               "exhaustiveKnnParameters": null
             }
           ],
           "compressions": [
               {
                   "name": "myScalarQuantization",
                   "kind": "scalarQuantization",
                   "rescoringOptions": {
                       "enableRescoring": true,
                       "defaultOversampling": 10,
                       "rescoreStorageMethod": "preserveOriginals"
                   },
                   "scalarQuantizationParameters": {
                       "quantizedDataType": "int8"
                   },
                   "truncationDimension": null
               },
               {
                   "name": "myBinaryQuantization",
                   "kind": "binaryQuantization",
                   "rescoringOptions": {
                       "enableRescoring": true,
                       "defaultOversampling": 10,
                       "rescoreStorageMethod": "discardOriginals"
                   },
                   "truncationDimension": null
               }
           ]
       }
   }