Oktatóanyag: Titkosított blobok indexelése és bővítése teljes szöveges kereséshez az Azure AI Keresésben

Megjegyzés:

Azure AI Keresés a Azure portálon, REST API-kon és Azure SDK-k keresztül érhető el. Emellett a Foundry IQ-t is támogatja, amely a vállalati tartalmakat újrafelhasználható, engedélytudatos tudásbázisokká alakítja át az Microsoft Foundry portálon található ügynökök számára.

Megtudhatja, hogyan indexelheti az Azure AI Keresés szolgáltatással az ügyfél által felügyelt kulccsal titkosított dokumentumokat az Azure Blob Storage-ban.

Az indexelők általában nem tudják kinyerni a tartalmat azokból a blobokból, amelyeket az Azure Blob Storage ügyfélkönyvtára segítségével ügyféloldali titkosítással titkosítottak. Ennek az az oka, hogy az indexelő nem rendelkezik hozzáféréssel az ügyfél által felügyelt titkosítási kulcshoz az Azure Key Vaultban. A DecryptBlobFile egyéni jártasság és a Dokumentumkinyerési képesség használatával azonban szabályozott hozzáférést biztosíthat a kulcshoz a fájlok visszafejtéséhez, majd a tartalom kinyeréséhez. Ez lehetővé teszi, hogy a tárolt dokumentumok titkosítási állapotának veszélyeztetése nélkül indexelje és bővítse ezeket a dokumentumokat.

Az Azure Blob Storage-ban a korábban titkosított teljes dokumentumoktól (strukturálatlan szövegektől), például PDF-től, HTML-től, DOCX-től és PPTX-től kezdve ez az oktatóanyag egy REST-ügyfelet és a Keresési REST API-kat használja a következőkhöz:

  • Olyan folyamat definiálása, amely visszafejti a dokumentumokat, és szöveget nyer ki belőlük
  • Index definiálása a kimenet tárolásához
  • A folyamatlánc végrehajtása az index létrehozására és betöltésére
  • Eredmények feltárása teljes szöveges kereséssel és gazdag lekérdezési szintaxissal

Előfeltételek

Az egyéni képesség üzembe helyezése létrehoz egy Azure-függvényalkalmazást és egy Azure Storage-fiókot. Ezek az erőforrások ön számára lettek létrehozva, ezért nem előfeltételként vannak felsorolva. Az oktatóanyag befejezésekor ne felejtse el törölni az erőforrásokat, hogy ne kelljen fizetnie a nem használt szolgáltatásokért.

Megjegyzés:

A készségkészletek gyakran igényelnek Microsoft Foundry-erőforrás csatolását. Mint írták, ez a képességkészlet nem függ az Foundry-hez, ezért nincs szükség kulcsra. Ha később olyan bővítéseket ad hozzá, amelyek meghívják a beépített készségeket, ne felejtse el ennek megfelelően frissíteni a készségkészletet.

Az egyéni képesség üzembe helyezése

Ez az oktatóanyag a DecryptBlobFile mintaprojektet használja az Azure Search Power Skills GitHub-adattárból. Ebben a szakaszban üzembe helyezi a képességet egy Azure-függvényben, hogy az használható legyen egy készségkészletben. Egy beépített üzembe helyezési szkript létrehoz egy Azure Functions erőforrást a psdbf-function-app- előtaggal, és betölti a készséget. A rendszer kérni fogja, hogy adjon meg egy előfizetést és egy erőforráscsoportot. Mindenképpen válassza ki az Azure Key Vault-példányt tartalmazó előfizetést.

Működési szempontból a DecryptBlobFile képesség bemenetként veszi az egyes blobok URL-címét és SAS-jogkivonatát. A letöltött, visszafejtett fájlt az Azure AI Keresés által várt fájlhivatkozási szerződéssel adja ki. Ne feledje, hogy a DecryptBlobFile-nak szüksége van a titkosítási kulcsra a visszafejtéshez. A beállítás részeként létrehoz egy hozzáférési szabályzatot is, amely hozzáférést biztosít a DecryptBlobFile függvénynek az Azure Key Vault titkosítási kulcsához.

  1. A DecryptBlobFile kezdőlapján válassza az Üzembe helyezés az Azure-ban lehetőséget a Resource Manager-sablon Azure Portalon való megnyitásához.

  2. Válassza ki azt az előfizetést, amelyben az Azure Key Vault-példány létezik. Ez az oktatóanyag nem működik, ha másik előfizetést választ.

  3. Válasszon ki egy meglévő erőforráscsoportot, vagy hozzon létre egy újat. Egy dedikált erőforráscsoport később megkönnyíti a törlést.

  4. Válassza a Véleményezés + létrehozás lehetőséget, fogadja el a feltételeket, majd válassza a Létrehozás lehetőséget az Azure-függvény üzembe helyezéséhez.

    Képernyőkép az ARM-sablon oldaláról az Azure Portalon.

  5. Várjon, amíg az üzembe helyezés befejeződik.

Rendelkeznie kell egy Azure-függvényalkalmazással, amely tartalmazza a visszafejtési logikát és egy Azure Storage-erőforrást, amely az alkalmazásadatokat fogja tárolni. A következő lépésekben engedélyt ad az alkalmazásnak a kulcstartó eléréséhez, és összegyűjti a REST-hívásokhoz szükséges információkat.

Engedélyek megadása az Azure Key Vaultban

  1. Nyissa meg az Azure Key Vault szolgáltatást az Azure Portalon. Hozzon létre egy hozzáférési szabályzatot az Azure Key Vaultban, amely kulcshozzáférést biztosít az egyéni képességhez.

  2. A bal oldali panelen válassza az Access-szabályzatok, majd a + Létrehozás lehetőséget a Hozzáférési szabályzat létrehozása varázsló elindításához.

    Képernyőkép az Access Policy parancsról a bal oldali panelen.

  3. Az Engedélyek lap Konfigurálás sablonból területén válassza az Azure Data Lake Storage vagy az Azure Storage lehetőséget.

  4. Válassza a Következőlehetőséget.

  5. Az Fő lapon válassza ki az üzembe helyezett Azure-függvénypéldányt. Megkeresheti az erőforrás-előtaggal, amely a psdbf-function-app alapértelmezett értékével rendelkezik.

  6. Válassza a Következőlehetőséget.

  7. Kattintson az Áttekintés + létrehozás lapra, majd válassza a Létrehozás opciót.

Alkalmazásadatok gyűjtése

  1. Nyissa meg a psdbf-function-app függvényt az Azure Portalon. Jegyezze fel a REST-hívásokhoz szükséges alábbi tulajdonságokat.

  2. Szerezze be a függvény URL-címét, amely a függvény főoldalán található Essentials alatt található.

    Képernyőkép az Azure-függvényalkalmazás áttekintési oldaláról és alapvető funkcióiról.

  3. Szerezze meg a gazdagép kulcskódját, amelyet úgy találhat meg, hogy az alkalmazáskulcsok menüpontba lép, megjeleníti az alapértelmezett kulcsot, és kimásolja az értékét.

    Képernyőkép az Azure-függvényalkalmazás Alkalmazáskulcsok oldaláról.

  1. Nyissa meg a keresési szolgáltatást az Azure Portalon.

  2. A keresési szolgáltatás áttekintési lapján kérje le a keresési szolgáltatás nevét. A szolgáltatás nevét a végpont URL-címének áttekintésével ellenőrizheti. Ha például a végpont URL-címe https://mydemo.search.windows.net, akkor a szolgáltatás neve mydemo.

  3. ABeállításkulcsok> területen szerezze be a szolgáltatás teljes jogosultságainak rendszergazdai kulcsát. Két felcserélhető rendszergazdai kulcs áll rendelkezésre az üzletmenet folytonossága érdekében, ha át kell gördítenie egyet. Az objektumok hozzáadásához, módosításához vagy törléséhez a kérelmek egyik kulcsát használhatja.

A szolgáltatásnak küldött kérések fejlécében API-kulcs szükséges. Az érvényes kulcs kérésenként megbízhatóságot hoz létre a kérelmet küldő alkalmazás és az azt kezelő szolgáltatás között.

REST-ügyfél beállítása

Hozza létre a következő változókat a végpontokhoz és kulcsokhoz.

Variable Hol szerezheti be?
admin-key Az Azure AI Keresés szolgáltatás Kulcsok lapján.
search-service-name Az Azure AI Keresés szolgáltatás neve. Az URL a következő: https://{{search-service-name}}.search.windows.net.
storage-connection-string A tárfiók Hozzáférési kulcsok lapján válassza az 1. kulcskapcsolati sztringjét>.
storage-container-name Annak a blobtárolónak a neve, amely az indexelendő titkosított fájlokat tartalmazza.
function-uri Az Azure-függvény főoldalán, az Alapok alatt.
function-code Az Azure-függvényben lépjen az Alkalmazáskulcsok elemre az alapértelmezett kulcs megjelenítésével és az érték másolásával.
api-version Hagyja meg 2020. június 30.
datasource-name Maradjon encrypted-blobs-ds formában.
index-name Hagyja titkosított blob-idxként.
skillset-name Hagyja titkosított blobokként.
indexer-name Hagyja titkosított blob-ixr formátumban.

Az egyes kérések áttekintése és futtatása

A bővítési folyamat objektumainak létrehozásához használja az alábbi HTTP-kéréseket.

  • PUT-kérés az index létrehozásához: Ez a keresési index tartalmazza az Azure AI Keresés által használt és visszaadott adatokat.

  • POST-kérelem az adatforrás létrehozásához: Ez az adatforrás megadja a titkosított blobfájlokat tartalmazó tárfiókhoz való kapcsolatot.

  • PUT-kérés a képességkészlet létrehozásához: A képességkészlet megadja az Azure-függvény egyéni készségdefinícióját, amely visszafejti a blobfájl adatait. Emellett egy DocumentExtractionSkillt is megad, amely kinyeri a szöveget az egyes dokumentumokból a visszafejtés után.

  • PUT kérés az indexelő létrehozásához: Az indexelő futtatása lekéri a blobokat, alkalmazza a képességkészletet, indexeli és tárolja az eredményeket. Ezt a kérést utoljára kell futtatnia. Az egyedi képesség a képességkészletben meghívja a visszafejtési logikát.

Indexelés ellenőrzése

Az indexelés és a bővítés az Indexelő létrehozása kérelem elküldése után azonnal megkezdődik. Attól függően, hogy hány dokumentum található a tárfiókban, az indexelés eltarthat egy ideig. Annak megállapításához, hogy az indexelő továbbra is fut-e, küldjön egy Indexelő állapotkérési kérést, és tekintse át a választ, hogy megtudja, fut-e az indexelő, vagy tekintse meg a hiba- és figyelmeztetési információkat.

Ha az ingyenes szintet használja, a következő üzenetre számíthat: "Could not extract content or metadata from your document. Truncated extracted text to '32768' characters". Ez az üzenet azért jelenik meg, mert a blobindexelés az ingyenes szinten 32 000 korlátot tartalmaz a karakter kinyerésére. Ez az üzenet nem jelenik meg ennél az adatkészletnél magasabb szinteken.

Keresés a tartalomban

Az indexelő végrehajtása után lekérdezéseket futtatva ellenőrizheti, hogy az adatok visszafejtése és indexelése sikeresen megtörtént-e. Nyissa meg az Azure AI Keresés szolgáltatást az Azure Portalon, és a Keresőböngészővel futtassa a lekérdezéseket az indexelt adatokon.

Erőforrások tisztítása

Ha a saját előfizetésedben dolgozol, a projekt végén célszerű eltávolítani azokat az erőforrásokat, amelyekre már nincs szükséged. A továbbra is futó erőforrások pénzbe kerülhetnek. Az erőforrásokat törölheti egyesével, vagy az erőforráscsoport törlésével eltávolíthatja a benne lévő összes erőforrást is.

Az erőforrásokat az Azure Portalon, a bal oldali navigációs panel Minden erőforrás vagy erőforráscsoport hivatkozásával keresheti meg és kezelheti.

Következő lépések

Most, hogy indexelte a titkosított fájlokat, fejlesztheti ezt a folyamatot további képességek hozzáadásával az adatok gazdagítása és jobb megértése érdekében.

Ha kétszeresen titkosított adatokkal dolgozik, érdemes lehet megvizsgálnia az Azure AI Keresésben elérhető indextitkosítási funkciókat. Bár az indexelőnek visszafejtett adatokra van szüksége indexelés céljából, miután az index létezik, az ügyfél által felügyelt kulccsal titkosítható egy keresési indexben. Ez biztosítja, hogy az adatok mindig titkosítva lesznek, amikor inaktív állapotban vannak. További információ: Ügyfél által felügyelt kulcsok konfigurálása adattitkosításhoz az Azure AI Keresésben.