Rövid útmutató: Multimodális keresés a Azure portálon

Ebben a rövid útmutatóban az Adatok importálása varázslóval ismerkedhet meg az Azure Portalon a multimodális kereséssel. A varázsló leegyszerűsíti a szöveg és a képek kereshető indexbe való kinyerésének, darabolásának, vektorizálásának és betöltésének folyamatát.

Ez a rövid útmutató egy multimodális PDF-fájlt használ a azure-search-sample-data adattárból. Azonban különböző fájlokat is használhat, és továbbra is elvégezheti ezt a gyorstalpalót.

Prerequisites

• Aktív előfizetéssel rendelkező Azure fiók. Hozzon létre egy fiókot ingyenesen.

• Egy Azure AI Keresés szolgáltatás. Ez a gyors kezdési útmutató az alap szint vagy annál magasabb szintet igényli a kezelt identitások támogatásához.

• Egy Azure Storage fiók. Használjon Azure Blob Storage vagy Azure Data Lake Storage Gen2 (hierarchikus névtérrel rendelkező tárfiókot) egy standard teljesítményű (általános célú v2) fiókon. A hozzáférési szintek lehetnek forró, hűvös vagy hideg.

• Támogatott kinyerési módszer.

• Támogatott beágyazási módszer.

• A varázsló ismerete. Lásd az Adatok importálása varázslót az Azure Portalon.

Támogatott kinyerési módszerek

A tartalomkinyeréshez válassza az alapértelmezett kinyerést az Azure AI Keresés által, vagy válassza a bővített kinyerést az Azure Dokumentumintelligencia az Öntödei eszközökben.

¹ Számlázási célokra csatolja a többszolgáltatásos fiókját az Azure AI Keresés képességkészlethez. A varázsló megköveteli, hogy a keresési szolgáltatás és a többszolgáltatásos fiók ugyanabban a támogatott régióban legyen a dokumentumelrendezéshez.

Támogatott beágyazási módszerek

Tartalombeágyazáshoz válasszon az alábbi módszerek közül:

• Kép verbális megjelenítése: LlM-et használ a képek természetes nyelvű leírásának létrehozásához, majd beágyazási modell használatával vektorizálja az egyszerű szöveget és a verbális képeket.

• Multimodális beágyazások: Beágyazási modellt használ a szöveg és a képek közvetlen vektorizálásához.

A portál az alábbi modelleket támogatja minden metódushoz. Az üzembe helyezési utasításokat egy későbbi szakaszban találja.

¹ Számlázási célokra csatolja a többszolgáltatásos fiókját az Azure AI Keresés képességkészlethez. A varázsló megköveteli, hogy a keresési szolgáltatás és a többszolgáltatásos fiók ugyanabban a támogatott régióban legyen a Azure Vision multimodális beágyazási képességhez (előzetes verzió).

² A varázsló csak kiszolgáló nélküli API-telepítéseket támogat ehhez a modellhez. A Azure CLI használatával kiépítheti a kiszolgáló nélküli üzembe helyezést (előzetes verzió).

³ Az Azure OpenAI-erőforrás végpontjának custom altartományral kell rendelkeznie, például https://my-unique-name.openai.azure.com. Ha az erőforrást a Azure portálon hozta létre, ez az altartomány automatikusan létre lett hozva az erőforrás beállítása során.

⁴ Azure a Microsoft Foundry portálon létrehozott OpenAI-erőforrások (a beágyazási modellekhez való hozzáféréssel) nem támogatottak. A Azure portálon létre kell hoznia egy Azure OpenAI-erőforrást.

A modell életciklusával kapcsolatos legújabb útmutatásért, beleértve az elavulásokat is, tekintse meg a modell kivonását és elavulását ismertető témakört.

Nyilvános végpontra vonatkozó követelmények

Az előző erőforrásoknak nyilvános hozzáféréssel kell rendelkezniük ahhoz, hogy a varázsló hozzáférhessen hozzájuk. Ellenkező esetben a segédprogram nem működik. A varázsló futtatása után engedélyezheti a tűzfalakat és a privát végpontokat az integrációs összetevőkön a biztonság érdekében. További információ: Biztonságos kapcsolatok az importálási varázslóban.

Ha már vannak privát végpontok, és nem tudja letiltani őket, a másik lehetőség az, hogy a megfelelő végpontok közötti folyamatot egy szkriptből vagy programból futtatja egy virtuális gépen. A virtuális gépnek ugyanazon a virtuális hálózaton kell lennie, mint a privát végpontnak. Ahere egy Python kódminta integrált vektorizáláshoz. Ugyanez a GitHub adattár más programozási nyelveken is rendelkezik mintákkal.

Hozzáférés konfigurálása

Mielőtt hozzákezdene, győződjön meg arról, hogy rendelkezik a tartalomhoz és a műveletekhez való hozzáféréshez szükséges engedélyekkel. Ez a rövid útmutató a Microsoft Entra ID-t használja a hitelesítéshez és a szerepköralapú hozzáférés engedélyezéséhez. Szerepkörök hozzárendeléséhez tulajdonosnak vagy felhasználói hozzáférés-rendszergazdának kell lennie. Ha a szerepkörök nem megvalósíthatók, használja inkább a kulcsalapú hitelesítést .

Konfigurálja az ebben a szakaszban azonosított szükséges szerepköröket és feltételes szerepköröket .

Kötelező szerepkörök

Azure AI Keresés és Azure Storage minden multimodális keresési forgatókönyvhöz szükséges.

Feltételes szerepkörök

Az alábbi lapok varázslóval kompatibilis erőforrásokat fednek le a multimodális kereséshez. Csak a választott kinyerési ésbeágyazási módszerre vonatkozó lapokat válassza ki.

Mintaadatok előkészítése

Ez a rövid útmutató egy minta multimodális PDF-fájlt használ, de saját fájlokat is használhat. Ha ingyenes keresési szolgáltatást használ, javasolt kevesebb mint 20 fájlt használni, hogy az ingyenes kvótán belül maradjon a tartalmi feldolgozáshoz.

A következő lépésekkel készítse elő a mintaadatokat ehhez a gyors kezdő útmutatóhoz:

1. Nyissa meg az Azure Storage-fiókját az Azure Portalon.

2. A bal oldali panelen válassza az Adattároló>Tárolók lehetőséget.

3. Hozzon létre egy tárolót, majd töltse fel a sample PDF a tárolóba.

4. Hozzon létre egy másik tárolót a PDF-fájlból kinyert képek tárolásához.

Modellek előkészítése

A varázsló számos lehetőséget kínál a tartalombeágyazáshoz. A képek verbálissá alakításához egy LLM-nek kell leírnia a képeket és egy beágyazási modellt a szöveg- és képtartalmak vektorizálásához, míg a közvetlen többmodális beágyazások csak beágyazási modellt igényelnek. Ezek a modellek Azure OpenAI és Foundry segítségével érhetők el.

A kiválasztott beágyazási módszerhez szükséges modellek üzembe helyezéséről a Microsoft Foundry-modellek üzembe helyezése az Foundry portálon című témakörben olvashat.

A varázsló indítása

1. Nyissa meg a keresési szolgáltatást az Azure Portalon.

2. Az Áttekintés lapon válassza az Adatok importálása lehetőséget.

   

3. Válassza ki az adatforrást: Azure Blob Storage vagy Azure Data Lake Storage Gen2.

   

4. Válassza a Multimodális RAG lehetőséget.

   

A varázsló futtatása

A varázsló több konfigurációs lépést is végigvezet. Ez a szakasz az egyes lépések sorrendjét ismerteti.

Csatlakozás az adatokhoz

Azure AI Keresés a tartalombetöltéshez és az indexeléshez kapcsolatot kell létesíteni egy adatforrással. Ebben az esetben az adatforrás az Ön Azure Storage fiókja.

Az adatokhoz való csatlakozáshoz:

1. A Kapcsolódjon az adatokhoz lapon válassza ki Azure előfizetését.

2. Válassza ki azt a tárfiókot és tárolót, amelyre feltöltötte a mintaadatokat.

3. Jelölje be a Hitelesítés felügyelt identitással jelölőnégyzetet. Hagyja az identitástípust rendszer által hozzárendelt.

   

4. Válassza a Következőlehetőséget.

A tartalom kinyerés

A választott kinyerési módszertől függően a varázsló eszköz konfigurációs lehetőségeket biztosít a dokumentum feldolgozásához és a szegmentáláshoz.

Tartalom beágyazása

Ebben a lépésben a varázsló a választott beágyazási módszert használja a szöveg és a képek vektoros ábrázolásának létrehozásához.

A kinyert képek tárolása

A következő lépés, hogy az Azure Storage-ba küldjük a dokumentumokból kinyert képeket. Az Azure AI Keresés ezt a másodlagos tárolót tudástárolónak nevezzük.

A kinyert képek tárolása:

1. A Kép kimenet lapon válassza ki az Azure előfizetését.

2. Válassza ki a lemezképek tárolásához létrehozott tárfiókot és blobtárolót.

3. Jelölje be a Hitelesítés felügyelt identitással jelölőnégyzetet. Hagyja az identitástípust rendszer által hozzárendelt.

   

4. Válassza a Következőlehetőséget.

Szemantikai rangsorolás hozzáadása

A Speciális beállítások lapon lehetőség van szemantikai rangsorolás hozzáadására, hogy a lekérdezés végrehajtásának végén újraküldje az eredményeket. Az újrangsorolás a szemantikailag legrelevánsabb találatokat a lista élére emeli.

Új mezők leképezése

A Speciális beállítások lapon igény szerint mezőket adhat hozzá az indexsémához. A varázsló alapértelmezés szerint az alábbi táblázatban leírt mezőket hozza létre.

Nem módosíthatja a létrehozott mezőket vagy azok attribútumait, de hozzáadhat mezőket, ha az adatforrás biztosítja őket. A Azure Blob Storage például metaadatmezők gyűjteményét biztosítja.

Mezők hozzáadása az indexsémához:

1. Az Indexmezők területen válassza az Előnézet és a Szerkesztés lehetőséget.

2. Válassza a Mező hozzáadása lehetőséget.

3. Válasszon ki egy forrásmezőt az elérhető mezők közül, adja meg az index mezőnevét, és fogadja el (vagy bírálja felül) az alapértelmezett adattípust.

4. Ha vissza szeretné állítani a sémát az eredeti verzióra, válassza az Alaphelyzetbe állítás lehetőséget.

A lépés főbb pontjai:

• Az indexséma vektoros és nem vektoros mezőket biztosít darabolt adatokhoz.

• A dokumentumelemzési mód adattömböket hoz létre (darabszámonként egy keresési dokumentumot).

Indexelés ütemezése

Az olyan adatforrások esetében, ahol a mögöttes adatok változékonyak, ütemezheti az indexelést , hogy meghatározott időközönként vagy adott dátumokban és időpontokban rögzítse a változásokat.

Indexelés ütemezése:

1. A Speciális beállítások lapon, az Indexelés ütemezése csoportban adja meg az indexelő futási ütemezését. Ebben a rövid útmutatóban a Once parancsot javasoljuk.

   

2. Válassza a Következőlehetőséget.

A varázsló befejezése

Az utolsó lépés a konfiguráció áttekintése és a multimodális kereséshez szükséges objektumok létrehozása. Ha szükséges, térjen vissza a varázsló előző lapjaira a konfiguráció módosításához.

A varázsló befejezéséhez:

1. A Véleményezés és létrehozás lapon adja meg a varázsló által létrehozott objektumok előtagját. Egy gyakori előtag segít a rendszerezésben.

   

2. Válassza a Create gombot.

Varázsló által létrehozott objektumok

Amikor a varázsló befejezi a konfigurációt, a következő objektumokat hozza létre:

Eredmények ellenőrzése

Ez a rövid útmutató egy multimodális indexet hoz létre, amely támogatja a hibrid keresést mind a szövegek, mind a képek között. Ha nem használ közvetlen többmodális beágyazást, az index nem fogadja el a képeket lekérdezési bemenetként, amelyhez a AML képesség vagy Azure Vision multimodális beágyazási képesség egyenértékű vektorizáló szükséges. További információ: Vektorizáló konfigurálása keresési indexben.

A hibrid keresés egyesíti a teljes szöveges lekérdezéseket és a vektoros lekérdezéseket. Hibrid lekérdezés kiadásakor a keresőmotor kiszámítja a lekérdezés és az indexelt vektorok szemantikai hasonlóságát, és ennek megfelelően rangsorolja az eredményeket. Az ebben a rövid útmutatóban létrehozott index esetében az eredmények a content_text mező azon tartalmát mutatják meg, amely szorosan kapcsolódik a lekérdezéshez.

A multimodális index lekérdezése:

1. Nyissa meg a keresési szolgáltatást az Azure Portalon.

2. A bal oldali panelen válassza a Kereséskezelési>indexek lehetőséget.

3. Jelölje ki az indexet.

4. Válassza a Lekérdezési beállítások lehetőséget, majd válassza a Vektorértékek elrejtése a keresési eredmények között lehetőséget. Ez a lépés olvashatóbbá teszi az eredményeket.

   

5. Írja be a keresett szöveget. A példánkban a energy kifejezést használjuk.

6. A lekérdezés futtatásához válassza a Keresés lehetőséget.

   

   A JSON-eredményeknek tartalmazniuk kell az indexhez energy kapcsolódó szöveg- és képtartalmat. Ha engedélyezte a szemantikai rangsorolót, a @search.answers tömb tömör, nagy megbízhatóságú szemantikai válaszokat biztosít a releváns egyezések gyors azonosításához.

   "@search.answers": [
      {
         "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
         "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
         "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
         "score": 0.9950000047683716
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
         "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "score": 0.9890000224113464
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
         "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
         "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
          "score": 0.9869999885559082
      }
   ]
   

Erőforrások tisztítása

Ha a saját előfizetésében dolgozik, érdemes befejezni egy projektet a már nem szükséges erőforrások eltávolításával. A meghagyott működő erőforrások pénzbe kerülhetnek.

Az Azure portálon válassza az Összes erőforrás vagy az Erőforráscsoportok lehetőséget a bal oldali panelen az erőforrások megkereséséhez és kezeléséhez. Az erőforrásokat egyenként törölheti, vagy törölheti az erőforráscsoportot az összes erőforrás egyidejű eltávolításához.

Következő lépés

Ez a rövid útmutató bemutatta az Adatok importálása varázslót, amely létrehozza a multimodális kereséshez szükséges összes objektumot. Az egyes lépések részletes megismeréséhez tekintse meg a multimodális oktatóanyagot.