Přiřazení úzkých datových typů k vektorovým polím ve službě Azure AI Vyhledávač

Snadný způsob, jak zmenšit velikost vektoru, je uložit vkládání v menším formátu dat. Většina modelů vkládání generuje 32bitová čísla s plovoucí desetinnou čárkou. Pokud ale kvantujete vektory nebo použijete model vkládání, který nativně podporuje kvantování, může být výstup float16, int16 nebo int8, což je výrazně menší než float32. Tyto menší velikosti vektorů můžete přizpůsobit přiřazením úzkého datového typu k vektorovým polím. V indexu vektoru spotřebovávají úzké datové typy méně úložiště.

Datové typy přiřadíte polím v definici indexu. Použijte Azure Portal, rozhraní REST API vyhledávací služby nebo balíček sady Azure SDK, který tuto funkci poskytuje.

Požadavky

• Vkládací model, který výstupuje malé datové formáty, jako jsou modely vkládání textu-3 nebo Cohere V3.

Podporované úzké datové typy

1. Projděte si datové typy používané pro vektorová pole pro doporučené použití:

   • Collection(Edm.Single): 32bitové plovoucí desetinné číslo (výchozí)
   • Collection(Edm.Half): 16bitová plovoucí čárka (úzká)
   • Collection(Edm.Int16): 16bitové celé číslo se znaménkem (úzké)
   • Collection(Edm.SByte): 8bitové celé číslo se signy (úzké)
   • Collection(Edm.Byte): 8bitové celé číslo bez znaménka (povoleno pouze s zabalenými binárními datovými typy)

2. V seznamu určete, který datový typ je platný pro výstup vloženého modelu nebo pro vektory, které procházejí vlastním kvantováním.

   Následující tabulka obsahuje odkazy na několik vložených modelů, které mohou používat úzký datový typ, Collection(Edm.Half)bez dodatečného kvantování. Můžete převést z float32 na float16 pomocí Collection(Edm.Half) bez jakékoliv další práce.

   Vložený model	Nativní výstup	Přiřaďte tento typ ve službě Azure AI Vyhledávač
   text-embedding-ada-002	Float32	Collection(Edm.Single) nebo Collection(Edm.Half)
   text-embedding-3-small	Float32	Collection(Edm.Single) nebo Collection(Edm.Half)
   text-embedding-3-large	Float32	Collection(Edm.Single) nebo Collection(Edm.Half)
   Vkládání modelů Cohere V3 s využitím embedding_type int8	Int8	Collection(Edm.SByte)

   Jiné úzké datové typy můžete použít, pokud váš model generuje vkládání v menším formátu dat nebo pokud máte vlastní kvantování, které převádí vektory do menšího formátu.

3. Pochopte kompromisy omezeného datového typu. Collection(Edm.Half) obsahuje méně informací, což vede k nižšímu rozlišení. Pokud jsou vaše data homogenní nebo hustá, může ztráta nadbytečných podrobností nebo nuance vést k nepřijatelným výsledkům v době dotazu, protože existuje méně podrobností, které lze použít k rozlišení blízkých vektorů od sebe.

Přiřazení datového typu

Definujte a sestavte index. Pro tento krok můžete použít Azure Portal, indexy – vytvoření nebo aktualizaci (REST API) nebo balíček sady Azure SDK.

Tato definice pole používá úzký datový typ, Collection(Edm.Half), který přijímá vložení float32 uložené jako hodnota float16. Stejně jako u všech vektorových polí nastavte dimensions a vectorSearchProfile vlastnosti. Podrobnosti o vectorSearchProfile jsou pro datový typ nepodstatné.

Pokud chcete vizuálně zkontrolovat hodnoty pole, nastavte retrievable hodnotu true a stored hodnotu true. Při následném opětovném sestavení můžete tyto vlastnosti změnit na false, aby se snížily požadavky na úložiště.

{
    "name": "nameEmbedding",
    "type": "Collection(Edm.Half)",
    "searchable": true,
    "filterable": false,
    "retrievable": true,
    "sortable": false,
    "facetable": false,
    "key": false,
    "indexAnalyzer": null,
    "searchAnalyzer": null,
    "analyzer": null,
    "synonymMaps": [],
    "dimensions": 1536,
    "vectorSearchProfile": "myHnswProfile"
}

Vzpomeňte si, že vektorová pole nejsou filtrovatelná, řaditelná ani fasetová. Nedají se použít jako klíče a nepoužívají analyzátory ani mapy synonym.

Práce s produkčním indexem

Datové typy přiřazujete novým polím při jejich vytvoření. Datový typ existujícího pole nemůžete změnit a pole nemůžete vypustit bez opětovného sestavení indexu. U zavedených indexů, které jsou již v produkčním prostředí, je běžným alternativním řešením vytvoření nových polí s požadovanými revizemi a následné odebrání zastaralých polí během plánovaného opětovného sestavení indexu.

Kontrola výsledků

1. Ověřte, že obsah pole odpovídá datovému typu. Za předpokladu, že je vektorové pole označené jako retrievable, použijte Průzkumník služby Search nebo Search – POST (REST API) k vrácení obsahu vektorového pole.

2. Pokud chcete zkontrolovat velikost vektorového indexu, podívejte se na sloupec velikosti vektorového indexu na stránce Indexy správy > vyhledávání na webu Azure Portal. Můžete také použít indexy – Získat statistiku (REST API) nebo ekvivalentní metodu sady Azure SDK.