Vícemodální vyhledávání v Azure AI Vyhledávač

Multimodální vyhledávání označuje schopnost ingestovat, pochopit a načítat informace napříč několika typy obsahu, včetně textu, obrázků, videa a zvuku. V Azure AI Vyhledávač multimodální vyhledávání nativně podporuje příjem dokumentů obsahujících text a obrázky a načítání jejich obsahu, což umožňuje provádět vyhledávání, která kombinují oba způsoby.

Vytvoření robustního multimodálního workflowu obvykle zahrnuje:

1. Extrahování vložených obrázků a textu stránek z dokumentů

2. Popis obrázků v přirozeném jazyce

3. Vložení textu i obrázků do sdíleného vektorového prostoru

4. Uložení obrázků pro pozdější použití jako poznámky

Multimodální vyhledávání také vyžaduje zachování pořadí informací, jak se zobrazí v dokumentech, a spouštění hybridních dotazů , které kombinují fulltextové vyhledávání s vektorovým vyhledáváním a sémantické řazení.

V praxi může aplikace, která používá vícemodální vyhledávání, odpovídat na otázky, jako je "Jak probíhá proces schválení formuláře personálního oddělení?", i když se jediný autoritativní popis procesu nachází ve vloženém diagramu v souboru PDF.

Proč používat multimodální vyhledávání?

Multimodální vyhledávání tradičně vyžaduje samostatné systémy pro zpracování textu a obrázků, často vyžadují vlastní kód a konfigurace nízké úrovně od vývojářů. Údržba těchto systémů způsobuje vyšší náklady, složitost a úsilí.

Azure AI Vyhledávač tyto problémy řeší integrací obrázků do stejného kanálu načítání jako text. S jedním multimodálním kanálem můžete zjednodušit nastavení a odemknout informace, které se nacházejí v grafech, snímcích obrazovky, infografice, naskenovaných formulářích a dalších složitých vizuálech.

Multimodální vyhledávání je ideální pro scénáře načítání rozšířené generace (RAG). Díky interpretaci strukturální logiky obrázků způsobí multimodální vyhledávání, že vaše aplikace RAG nebo agent AI méně pravděpodobně přehlédne důležité vizuální podrobnosti. Poskytuje také uživatelům podrobné odpovědi, které lze vysledovat zpět ke svým původním zdrojům bez ohledu na způsob zdroje.

Jak funguje vícemodální vyhledávání?

Pro zjednodušení vytváření multimodálního kanálu nabízí Azure AI Vyhledávač průvodce Import dat na portálu Azure. Průvodce vám pomůže nakonfigurovat zdroj dat, definovat nastavení extrakce a rozšiřování a vygenerovat multimodální index, který obsahuje text, vložené odkazy na obrázky a vektorové vkládání. Další informace najdete v tématu Quickstart: Vícemodální vyhledávání na portálu Azure.

Průvodce postupuje podle těchto kroků k vytvoření multimodálního pipeline:

1. Extrahovat obsah: Vyberte dovednost Extrakce dokumentů nebo dovednost Azure Content Understanding pro získání textu na stránce, vložených obrázků a strukturních metadat. Každá dovednost nabízí různé možnosti pro extrakci metadat, zpracování tabulek a podporu formátu souborů. Podrobné porovnání naleznete v tématu Možnosti pro extrakci multimodálního obsahu.

2. Část textu:Dovednost Rozdělení textu rozdělí extrahovaný text na snadno zpracovatelné části pro použití ve zbývajícím procesu, jako je dovednost vložení.

3. Generovat popisy obrázků: Dovednost GenAI Prompt verbizuje obrázky a vytváří stručné popisy přirozeného jazyka pro vyhledávání textu a vkládání pomocí rozsáhlého jazykového modelu (LLM).

4. Generování vložených objektů: Dovednost vkládání vytváří vektorové reprezentace textu a obrázků, což umožňuje podobnost a hybridní načítání. Modely pro vkládání z Azure OpenAI, Microsoft Foundry nebo Azure Vision (preview) můžete volat nativně.

   Alternativně můžete přeskočit verbalizaci obrazu a předat extrahovaný text a obrázky přímo do multimodálního modelu pro vkládání prostřednictvím dovednosti AML nebo dovednosti multimodálních vkládání Azure Vision. Další informace naleznete v tématu Možnosti pro vkládání multimodálního obsahu.

5. Ukládání extrahovaných imagí:Úložiště znalostí obsahuje extrahované image, které lze vrátit přímo do klientských aplikací. Při použití průvodce se umístění image uloží přímo v multimodálním indexu, což umožňuje pohodlné načítání v době dotazu.

Možnosti extrakce multimodálního obsahu

Multimodální pipelina začíná rozdělením každého zdrojového dokumentu do bloků textu, řádkových obrázků a přidružených metadat. V tomto kroku Azure AI Vyhledávač nabízí dvě doporučené předdefinované dovednosti:

• Dovednost extrakce dokumentů
• Azure dovednost porozumění obsahu

Dovednost Rozložení dokumentu je nadále podporována pro stávající kanály zpracování. Pro nové dovednosti použijte dovednost Azure Content Understanding, která kombinuje extrakci obsahu a bloky obsahu do jedné dovednosti a podporuje sémantické vytváření bloků, popisy obrázků generované AI a extrakci křížových tabulek.

Možnosti pro vkládání multimodálního obsahu

V Azure AI Vyhledávač lze načítat znalosti z obrázků po dvou doplňkových cestách: verbalizace obrázků nebo přímo pomocí vkládání. Pochopení rozdílů vám pomůže sladit náklady, latenci a kvalitu odpovědí s potřebami vaší aplikace.

Obrazová verbalizace následovaná vložením textových embeddingů

Pomocí této metody GenAI Prompt skill vyvolá LLM během načítání, aby vytvořil stručný popis v přirozeném jazyce pro každý extrahovaný obrázek, například "Pěti krokový pracovní postup pro přístup HR, který začíná schválením nadřízeného." Tento popis je uložen jako text a vložen spolu s okolním textem dokumentu, který můžete poté vektorizovat pomocí modelů vkládání Azure OpenAI, Microsoft Foundry nebo Azure Vision.

Vzhledem k tomu, že je obrázek vyjádřený v jazyce, Azure AI Vyhledávač může:

• Interpretujte relace a entity zobrazené v diagramu.

• Zadejte předdefinované titulky, které LLM dokáže doslovně citovat v odpovědi.

• Vrácení relevantních fragmentů pro aplikace RAG nebo scénáře agenta AI s podloženými daty.

Přidaná sémantická hloubka zahrnuje volání LLM pro každý obraz a nepatrný nárůst doby indexování.

Přímé vícemodální vkládání

Druhou možností je předání extrahovaných obrázků a textu z dokumentu do modelu pro multimodální vnoření, který vytváří vektorové reprezentace ve stejném vektorovém prostoru. Konfigurace je jednoduchá a v době indexování se nevyžaduje žádný LLM. Přímé vkládání je vhodné pro vizuální podobnost a scénáře „najdi mi něco, co vypadá takto“.

Protože reprezentace je čistě matematická, nevysvětluje, proč jsou dva obrázky propojené, a nenabízí kontext připravený pro LLM, tedy pro citace nebo podrobná vysvětlení.

Kombinování obou přístupů

Mnoho řešení potřebuje obě cesty kódování. Diagramy, vývojové diagramy a další vizuály s bohatými vysvětleními jsou verbalizovány, takže sémantické informace jsou k dispozici pro ukotvení dat agentů RAG a AI. Snímky obrazovky, fotky produktů nebo kresby jsou vloženy přímo pro efektivní vyhledávání podobnosti. Můžete přizpůsobit Azure AI Vyhledávač, aby jeho pipeline dovedností indexu a indexéru mohla uložit dvě množiny vektorů a následně je načíst vedle sebe.

Možnosti dotazování na multimodální obsah

Pokud multimodální kanál využívá dovednost GenAI Prompt, můžete v indexu vyhledávání spouštět hybridní dotazy přes prostý text i slovní obrázky. Filtry můžete také použít k zúžení výsledků hledání na konkrétní typy obsahu, jako je jenom text nebo jenom obrázky.

I když dovednost GenAI Prompt podporuje dotazy typu text-vektor prostřednictvím hybridního vyhledávání, nepodporuje dotazy typu image-vektor. Pouze multimodální modely zabudování poskytují vektorizátory, které v době dotazu převádějí obrázky na vektory.

Pokud chcete použít obrázky jako vstupy dotazů pro multimodální index, musíte použít dovednost AML nebo dovednost Azure Vision multimodální vkládání s ekvivalentním vektorizátorem. Další informace naleznete v tématu Konfigurace vektorizátoru v indexu vyhledávání.

Výukové programy a příklady

Abychom vám pomohli začít s multimodálním vyhledáváním v Azure AI Vyhledávač, tady je kolekce obsahu, která ukazuje, jak vytvářet a optimalizovat vícemodální indexy pomocí funkcí Azure.