Multimodális keresés a Azure AI Keresés

A multimodális keresés azt a képességet jelenti, hogy több tartalomtípusra , köztük szövegre, képekre, videókra és hanganyagokra is betölthet, megérthet és lekérhet információkat. A Azure AI Keresés a multimodális keresés natív módon támogatja a szöveget és képeket tartalmazó dokumentumok betöltését, valamint a tartalom lekérését, így mindkét modalitást kombináló kereséseket hajthat végre.

Egy robusztus multimodális folyamat létrehozása általában a következőket foglalja magában:

1. Beágyazott képek és oldalszövegek kinyerése dokumentumokból.

2. Képek leírása természetes nyelven.

3. Szöveg és képek beágyazása megosztott vektortérbe.

4. A képek tárolása későbbi széljegyzetekként való használatra.

A multimodális kereséshez meg kell őrizni az információk sorrendjét a dokumentumokban, valamint hibrid lekérdezéseket kell végrehajtani, amelyek a teljes szöveges keresésta vektorkereséssel és a szemantikai rangsorolással kombinálják.

A gyakorlatban a multimodális keresést használó alkalmazások megválaszolhatják az olyan kérdéseket, mint a "Mi az a folyamat, hogy egy HR-űrlapot jóváhagyjanak?" akkor is, ha a folyamat egyetlen mérvadó leírása egy PDF-fájlba ágyazott diagramon belül található.

Miért érdemes többmodális keresést használni?

A multimodális keresés hagyományosan külön rendszereket igényel a szöveg- és képfeldolgozáshoz, gyakran egyéni kódot és alacsony szintű konfigurációkat igényelnek a fejlesztőktől. Ezeknek a rendszereknek a fenntartása magasabb költségekkel, összetettséggel és erőfeszítéssel jár.

Azure AI Keresés ezeket a kihívásokat úgy oldja meg, hogy a képeket ugyanabba a lekérési folyamatba integrálja, mint a szöveg. Egyetlen többmodális folyamattal egyszerűsítheti a diagramokban, képernyőképekben, infografikákban, beolvasott űrlapokban és egyéb összetett vizualizációkban található információk beállítását és zárolását.

A multimodális keresés ideális a lekéréses kiterjesztett generációs (RAG) forgatókönyvekhez. A képek szerkezeti logikájának értelmezésével a multimodális kereséssel a RAG-alkalmazás vagy az AI-ügynök kevésbé valószínű, hogy figyelmen kívül hagyja a fontos vizuális részleteket. Emellett részletes válaszokat is biztosít a felhasználóknak, amelyek a forrás módozatától függetlenül visszavezethetők az eredeti forrásokra.

Hogyan működik a multimodális keresés?

A multimodális folyamatok létrehozásának egyszerűsítése érdekében Azure AI Keresés a Azure portálon kínálja a Adatok importálása varázslót. A varázsló segít konfigurálni egy adatforrást, definiálni a kinyerési és bővítési beállításokat, valamint létrehozni egy többmodális indexet, amely szövegeket, beágyazott képhivatkozásokat és vektorbeágyazást tartalmaz. További információ: Felsőútmutató: Multimodális keresés a Azure portálon.

A varázsló az alábbi lépéseket követi egy többmodális folyamat létrehozásához:

1. Tartalom kinyerése: Válasszon a Dokumentumkinyerési képesség és az Azure Content Understanding képesség közül az oldalak szövegének, a beágyazott képeknek és a szerkezeti metaadatoknak a kinyeréséhez. Minden képesség különböző képességeket kínál a metaadatok kinyerésére, a táblázatkezelésre és a fájlformátumok támogatására. Részletes összehasonlításért tekintse meg a multimodális tartalomkinyerési lehetőségeket.

2. Adattömb szövege: A Szöveg felosztása képesség kezelhető adattömbökre bontja a kinyert szöveget a fennmaradó folyamatban való használatra, például a beágyazási képességre.

3. Képleírások létrehozása: A GenAI Prompt készség verbálisan verbizálja a képeket, és tömör természetes nyelvű leírásokat készít a szöveges kereséshez és a beágyazáshoz egy nagy nyelvi modell (LLM) használatával.

4. Beágyazások létrehozása: A beágyazási képesség vektoros szöveg- és képábrázolásokat hoz létre, lehetővé téve a hasonlóságot és a hibrid lekérést. Meghívhat Azure OpenAI-t, Microsoft Foundryt vagy Azure Vision (előzetes verzió) beágyazási modelleket natív módon.

   Másik lehetőségként kihagyhatja a képek verbális megjelenítését, és a kinyert szöveget és képeket közvetlenül egy multimodális beágyazási modellbe továbbíthatja a AML képesség vagy Azure Vision multimodális beágyazási képesség segítségével. További információt a multimodális tartalombeágyazási beállítások című témakörben talál.

5. Kinyert képek tárolása: A tudástár olyan kinyert képeket tartalmaz, amelyek közvetlenül az ügyfélalkalmazásokhoz küldhetők vissza. A varázsló használatakor egy kép helye közvetlenül a többmodális indexben tárolódik, lehetővé téve a kényelmes lekérdezést a lekérdezési időpontban.

A multimodális tartalom kinyerésének lehetőségei

A többmodális folyamat úgy kezdődik, hogy az egyes forrásdokumentumokat szövegtömbökre, beágyazott képekre és kapcsolódó metaadatokra bontja. Ehhez a lépéshez Azure AI Keresés két ajánlott beépített készséget biztosít:

• Dokumentum-kinyerési képesség
• Azure tartalomértelmezési készség

A dokumentumelrendezési képesség továbbra is támogatott a meglévő folyamatok esetében. Új képességkészletek esetén használja a Azure Tartalomértési képességet, amely egyesíti a tartalom kinyerését és az adattömbök egyetlen képességgé alakítását, és támogatja a szemantikai adattömböket, az AI által létrehozott képleírásokat és a lapok közötti táblázatkiemelést.

Multimodális tartalombeágyazási lehetőségek

A Azure AI Keresés a képekről való tudás lekérése két egymást kiegészítő útvonalat követhet: a képek verbális vagy közvetlen beágyazását. A különbségtételek megértése segít a költségek, a késés és a válaszminőségnek az alkalmazás igényeihez való igazításában.

Képi verbális megjelenítés, majd szövegbeágyazások

Ezzel a módszerrel a GenAI Prompt skill meghív egy LLM-et a betöltés során, hogy az egyes kinyert képek tömör, természetes nyelvű leírását hozza létre, például :"Ötlépéses HR-hozzáférési munkafolyamat, amely a vezető jóváhagyásával kezdődik." A leírás szövegként van tárolva, és a környező dokumentumszöveggel együtt van beágyazva, amelyet ezután vektorizálhat az Azure OpenAI meghívásával, Microsoft Foundry vagy Azure Vision beágyazási modellek.

Mivel a kép most már nyelvben van kifejezve, Azure AI Keresés a következőt teheti:

• A diagramon látható kapcsolatok és entitások értelmezése.

• Adja meg azokat a kész feliratokat, amelyeket az LLM szó szerint idézhet a válaszban.

• A RAG-alkalmazásokhoz vagy AI-ügynökforgatókönyvekhez kapcsolódó kódrészleteket ad vissza a földelt adatokkal.

A hozzáadott szemantikai mélység llM-hívással jár minden kép esetében, és az indexelési idő kismértékben megnő.

Közvetlen multimodális beágyazások

A második lehetőség az, hogy a dokumentumból kinyert képeket és szöveget egy multimodális beágyazási modellnek adja át, amely vektorábrázolásokat hoz létre ugyanabban a vektortérben. A konfiguráció egyszerű, és az indexeléskor nincs szükség LLM-re. A közvetlen beágyazások jól illeszkednek a vizuális hasonlósághoz és a „találj valamit, ami így néz ki” helyzetekhez.

Mivel a reprezentáció pusztán matematikai jellegű, nem jelzi, hogy miért kapcsolódik két kép, és nem kínál kész kontextust az LLM-nek idézetekhez vagy részletes magyarázatokhoz.

Mindkét megközelítés kombinálása

Számos megoldásnak mindkét kódolási útvonalra szüksége van. A diagramok, a folyamatdiagramok és más magyarázatokban gazdag vizualizációk verbalizálva vannak, így szemantikai információk érhetők el a RAG és az AI-ügynökök séma alapozásához. A képernyőképek, termékképek vagy műalkotások közvetlenül beágyazottak a hatékony hasonlóság kereséséhez. Testre szabhatja a Azure AI Keresés indexelési és indexelői képességkészlet-folyamatot, hogy az tárolhassa a két vektorkészletet, és egymás mellett lekérhesse őket.

Többmodális tartalom lekérdezésének lehetőségei

Ha a multimodális folyamatot a GenAI Prompt képesség működteti, hibrid lekérdezéseket futtathat egyszerű szöveges és verbális képeken is a keresési indexben. Szűrőkkel is szűkítheti a keresési eredményeket adott tartalomtípusokra, például csak szövegre vagy csak képekre.

Bár a GenAI Prompt képesség támogatja a szöveges-vektoros lekérdezéseket hibrid kereséssel, nem támogatja a kép-vektor típusú lekérdezéseket. Csak a multimodális beágyazási modellek biztosítják azokat a vektorizálókat, amelyek a lekérdezési időben átalakítják a képeket vektorokká.

Ha képeket szeretne lekérdezési bemenetként használni a multimodális indexhez, a AML készséget vagy Azure Vision multimodális beágyazási készséget kell használnia egy egyenértékű vektorizálóval. További információ: Vektorizáló konfigurálása keresési indexben.

Oktatóanyagok és minták

A multimodális keresés Azure AI Keresés való használatának megkezdéséhez az alábbi tartalomgyűjtemény bemutatja, hogyan hozhat létre és optimalizálhat többmodális indexeket Azure funkciókkal.