Vektorové vyhledávání v Azure AI Vyhledávač

Vektorové vyhledávání je přístup k načítání informací, který podporuje indexování a dotazování na číselné reprezentace obsahu. Vzhledem k tomu, že obsah je číselný místo prostého textu, je porovnávání založeno na vektorech, které jsou nejvíce podobné vektoru dotazu. Tento přístup umožňuje porovnávání napříč:

• Sémantická nebo koncepční podobnost. Například "pes" a "canine" jsou koncepčně podobné, ale lingvisticky odlišné.
• Vícejazyčný obsah, například "pes" v angličtině a "hund" v němčině.
• Více typů obsahu, například "pes" v prostém textu a obrázek psa.

Tento článek poskytuje přehled vektorového vyhledávání v Azure AI Vyhledávač, včetně podporovaných scénářů, dostupnosti a integrace s dalšími službami Azure.

Jaké scénáře mohou vektorové vyhledávání podporovat?

Vektorové vyhledávání podporuje následující scénáře:

• Hledání podobnosti Kódujte text pomocí embedovacích modelů nebo opensourcových modelů, jako jsou embeddingy od OpenAI nebo SBERT. Pak načtete dokumenty pomocí dotazů, které jsou také kódovány jako vektory.

• Hybridní vyhledávání. Azure AI Vyhledávač definuje hybridní vyhledávání jako spuštění vektorového vyhledávání a slovné vyhledávání ve stejném požadavku. Podpora vektorů je implementována na úrovni pole. Pokud index obsahuje vektorová a nevectorová pole, můžete napsat dotaz, který cílí na obojí. Dotazy se provádějí paralelně a výsledky se sloučí do jedné odpovědi a odpovídajícím způsobem se seřadí.

• Multimodální vyhledávání. Zakódujte text a obrázky pomocí multimodálních vkládání, jako jsou OpenAI CLIP nebo GPT-4 Turbo s obrazem v Azure OpenAI a potom dotazujte vložený prostor složený z obou typů obsahu.

• Vícejazyčné vyhledávání. Azure AI Vyhledávač je určená pro rozšiřitelnost. Pokud máte vložené modely a chatovací modely vytrénované ve více jazycích, můžete je volat prostřednictvím vlastních nebo integrovaných dovedností na straně indexování nebo vektorizátorů na straně dotazu. Pokud chcete mít větší kontrolu nad překladem textu, použijte funkce multijazyčné podporované Azure AI Vyhledávač pro nevektorový obsah ve scénářích hybridního vyhledávání.

• Filtrované vektorové vyhledávání. Požadavek dotazu může obsahovat vektorový dotaz a výraz filtru. Filtry platí pro textová a číselná pole. Jsou užitečné pro filtry metadat a pro zahrnutí nebo vyloučení výsledků hledání na základě kritérií filtru. I když vektorové pole není filtrovatelné, můžete nastavit filtrovatelné textové nebo číselné pole. Vyhledávací modul může filtr zpracovat před nebo po spuštění vektorového dotazu.

• Vektorová databáze. Azure AI Vyhledávač ukládá data, která dotazujete. Použijte ho jako čistý vektorový index , pokud potřebujete dlouhodobou paměť nebo znalostní bázi, základ dat pro architekturu načítání rozšířené generace (RAG) nebo aplikaci, která používá vektory.

Jak funguje vektorové vyhledávání?

Azure AI Vyhledávač podporuje indexování, ukládání a dotazování vektorového vnoření z vyhledávacího indexu. Následující diagram znázorňuje pracovní postupy indexování a vyhledávání dotazů pro vektorové vyhledávání.

Na straně indexování Azure AI Vyhledávač používá algoritmus nejbližších sousedů k umístění podobných vektorů blízko sebe v indexu. Interně vytváří vektorové indexy pro každé vektorové pole.

Způsob vkládání ze zdrojového obsahu do Azure AI Vyhledávač závisí na způsobu zpracování:

• Pro interní zpracování nabízí Azure AI Vyhledávač integrované dávkování a vektorizaci dat v rámci indexerového kanálu. Poskytnete potřebné prostředky, jako jsou koncové body a informace o připojení pro Azure OpenAI. Azure AI Vyhledávač pak provede volání a zpracuje přechody. Tento přístup vyžaduje indexer, podporovaný zdroj dat a sadu dovedností, která řídí bloky dat a vkládání.

• Pro externí zpracování můžete generovat embeddingy mimo Azure AI Vyhledávač a vložit prevectorizovaný obsah přímo do vektorových polí do vyhledávacího indexu.

Na straně dotazu shromažďuje klientská aplikace uživatelský vstup, obvykle prostřednictvím výzvy. Můžete přidat krok kódování pro vektorizaci vstupu a potom odeslat vektorový dotaz do Azure AI Vyhledávač indexu pro vyhledávání podobnosti. Stejně jako u indexování můžete dotaz zakódovat pomocí integrované vektorizace . U obou přístupů Azure AI Vyhledávač vrátí dokumenty s požadovaným k nejbližšími sousedy (kNN) ve výsledcích.

Azure AI Vyhledávač podporuje scénáře hybrid, které paralelně spouští vektor a vyhledávání klíčových slov a vrací jednotnou sadu výsledků, která často poskytuje lepší výsledky než samotné hledání vektorů nebo klíčových slov. Pro hybridní vyhledávání se vektorový i nevector obsah ingestuje do stejného indexu pro dotazy, které běží současně.

Dostupnost a ceny

Vektorové vyhledávání je dostupné ve všech oblastech a na všech úrovních bez dalších poplatků. Generování vložených objektů nebo použití rozšiřování AI pro vektorizaci ale může vyžadovat poplatky od poskytovatele modelu.

Pro portál a programový přístup k vektorovým vyhledáváním můžete použít:

• Průvodce Import dat na portálu Azure.
• Rozhraní REST API vyhledávací služby.
• Sady Azure SDK pro .NET, Python a JavaScript.
• Další nabídky Azure, například Microsoft Foundry.

integrace Azure a souvisejících služeb

Azure AI Vyhledávač je hluboce integrovaná napříč platformou Azure AI. Následující tabulka uvádí produkty, které jsou užitečné v úlohách vektorů.

Azure AI Vyhledávač se také běžně používá v opensourcových architekturách, jako je LangChain.

Související obsah

• Rychlý start: Vektorové vyhledávání
• Vytvoření vektorového indexu v Azure AI Vyhledávač
• Vytvoření vektorového dotazu v Azure AI Vyhledávač
• azure-vector-search-samples
• Azure AI Vyhledávač a LangChain: Bezproblémová integrace funkcí rozšířeného vektorového vyhledávání