Tudástár az Azure AI Keresésben

A tudástár az Azure AI Keresésben egy készségkészlet által létrehozott, AI-dúsított tartalom másodlagos tárolója. Az Azure AI Keresésben az indexelési feladatok mindig a keresési indexnek küldik a kimenetet, de ha egy indexelőhöz csatol egy képességkészletet, igény szerint AI-dúsított kimenetet is küldhet egy tárolóba vagy táblába az Azure Storage-ban. A tudástárak használhatók független elemzésekhez vagy alsóbb rétegbeli feldolgozáshoz olyan nem keresési forgatókönyvekben, mint a tudásbányászat.

Az indexelés két kimenete, a keresési index és a tudástár kölcsönösen kizárja ugyanannak a folyamatnak a termékeit. Ezek ugyanazokból a bemenetekből származnak, és ugyanazokat az adatokat tartalmazzák, de a tartalmuk strukturált, tárolt és különböző alkalmazásokban használatos.

Fizikailag a tudástár az Azure Storage, az Azure Table Storage, az Azure Blob Storage vagy mindkettő. Az Azure Storage-hoz csatlakozni képes bármely eszköz vagy folyamat felhasználhatja a tudástár tartalmát. Az Azure AI Keresés nem támogatja a tartalom tudásbázisból való lekérését.

Ha az Azure Portalon keresztül tekinti meg, a tudástár úgy néz ki, mint bármely más tábla-, objektum- vagy fájlgyűjtemény. Az alábbi képernyőképen egy három táblából álló tudástár látható. Az elnevezési konvenciók, például az kstore előtagok együttes használata lehetővé teszi a tartalom egymással való megőrzését.

A tudástár előnyei

A tudástárak elsődleges előnyei a kétirányúak: a tartalomhoz való rugalmas hozzáférés és az adatok alakításának képessége.

Az Azure AI Keresésben lekérdezéseken keresztül elérhető keresési indexekkel ellentétben a tudástár minden olyan eszköz, alkalmazás vagy folyamat számára elérhető, amely támogatja az Azure Storage-kapcsolatok használatát. Ez a rugalmasság új forgatókönyveket nyit meg a bővítési folyamat által létrehozott elemzett és gazdagított tartalom felhasználásához.

Ugyanaz a képességkészlet, amely az adatokat bővíti, az adatok alakítására is használható. Egyes eszközök, például a Power BI jobban működnek a táblákkal, míg az adatelemzési számítási feladatok összetett adatstruktúrát igényelhetnek blobformátumban. Ha alakzatkezelő képességet ad hozzá egy készségkészlethez, szabályozhatja az adatok alakját. Ezután továbbíthatja ezeket az alakzatokat a kivetítéseknek, akár tábláknak, akár bloboknak, hogy olyan fizikai adatstruktúrákat hozzon létre, amelyek igazodnak az adatok rendeltetésszerű használatához.

Az alábbi videó mindkét előnyt ismerteti.

Tudásbázis definíciója

A tudástár egy képességkészlet-definícióban van definiálva, és két összetevőből áll:

• Kapcsolati karakterlánc az Azure Storage-hoz

• Előrejelzések, amelyek meghatározzák , hogy a tudástár táblákból, objektumokból vagy fájlokból áll-e. A projections elem egy tömb. Több tábla-objektum-fájl kombinációt is létrehozhat egy tudástárban.

  "knowledgeStore": {
      "storageConnectionString":"<YOUR-AZURE-STORAGE-ACCOUNT-CONNECTION-STRING>",
      "projections":[
         {
            "tables":[ ],
            "objects":[ ],
            "files":[ ]
         }
      ]
  }
  

Az ebben a struktúrában megadott előrejelzési típus határozza meg a tudástár által használt tároló típusát, struktúráját azonban nem. A táblákban, objektumokban és fájlokban lévő mezőket a Shaper készségkimenete határozza meg, ha programozott módon hozza létre a tudástárat, vagy az Adatok importálása varázsló az Azure Portal használata esetén.

• tables projekt gazdagított tartalmat a Table Storage-ba. Táblavetület definiálása, ha táblázatos jelentéskészítési struktúrákra van szüksége az elemzési eszközök bemeneteihez, vagy adatkeretekként más adattárakba való exportáláshoz. Ugyanazon a kivetítőcsoporton belül több tables is megadható a bővített dokumentumok részhalmazának vagy keresztmetszetének lekéréséhez. A vetületcsoporton belül a táblák közötti kapcsolatok megmaradnak, így lehetővé válik valamennyi táblával való munka.

  A tervezett tartalom nincs összesítve vagy normalizálva. Az alábbi képernyőképen egy táblázat látható, kulcskifejezések szerint rendezve, és a szülődokumentum a szomszédos oszlopban van feltüntetve. Az indexelés során végzett adatbetöltéssel ellentétben nincs nyelvi elemzés vagy tartalomösszesítés. A többes számú formák és a kisbetű/nagybetű különbségek egyedi eseteknek tekinthetők.

  

• objects projekt JSON-dokumentuma a blobtárolóba. A fizikai ábrázolás object egy hierarchikus JSON-struktúra, amely egy bővített dokumentumot jelöl.

• files projektképfájlokat a Blob Storage-ba. Az A file egy dokumentumból kinyert kép, amely sértetlenül kerül át a Blob Storage-ba. Bár a neve "files", a Blob Storage-ban jelenik meg, nem a fájltárolóban.

Tudástár létrehozása

Tudástár létrehozásához használja az Azure Portalt, a REST API-kat vagy egy Azure SDK-csomagot. Minden módszerhez Azure Storage, képességkészlet és indexelő szükséges. Mivel az indexelők keresési indexet igényelnek, indexdefiníciót is meg kell adnia.

A REST API-k és az SDK-k teljes körű vezérlést biztosítanak a vetítések felett: táblákat, objektumokat és fájlokat. Az Azure Portal automatikusan létrehoz egy tudástárat a multimodális RAG munkafolyamat részeként, amely a kinyert képek fájlvetítésére korlátozódik.

Csatlakozás alkalmazásokkal

Ha a gazdagított tartalom már létezik a tárolóban, az Azure Storage-hoz csatlakozó bármely eszköz vagy technológia felhasználható a tartalom feltárására, elemzésére vagy felhasználására. A következő lista egy kezdet:

• Tárfelfedező vagy a Storage böngésző az Azure portálon a bővített dokumentumszerkezet és -tartalom megtekintéséhez. Ezt tekintheti alapeszköznek a tudástár tartalmának megtekintéséhez.

• Power BI jelentéskészítéshez és elemzéshez.

• További manipuláció az Azure Data Factoryben .

Tartalom életciklusa

Minden alkalommal, amikor az indexelőt és a készségkészletet futtatja, a tudástár frissül, ha a képességkészlet vagy a mögöttes forrásadatok megváltoztak. Az indexelő által észlelt módosítások a bővítési folyamaton keresztül kerülnek propagálásra a tudástárban lévő előrejelzésekre, biztosítva, hogy a tervezett adatok a forrásból származó adatforrás tartalmának aktuális ábrázolása legyen.

A forrásadatok változásai

A változáskövetést támogató adatforrások esetében az indexelő új és módosított dokumentumokat dolgoz fel, és megkerüli a már feldolgozott dokumentumokat. Az időbélyeg-információk adatforrásonként eltérőek, de egy blobtárolóban az indexelő a lastmodified dátumot vizsgálja meg, hogy megállapítsa, mely blobokat kell feldolgozni.

Képességkészlet módosítása

Ha módosításokat végez egy készségkészleten, érdemes engedélyezni a dúsított dokumentumok gyorsítótárazását (előzetes verzió), hogy lehetőség szerint újra felhasználhassa a meglévő dúsításokat.

Növekményes gyorsítótárazás nélkül az indexelő mindig a magas vízjel sorrendjében dolgozza fel a dokumentumokat, visszalépés nélkül. Blobok esetén az indexelő a blobokat rendezve lastModifieddolgozza fel, függetlenül az indexelő beállításaiban vagy a képességkészletben bekövetkezett változásoktól. Ha módosít egy készségkészletet, a korábban feldolgozott dokumentumok nem frissülnek az új készségkészletnek megfelelően. A képességkészlet módosítása után feldolgozott dokumentumok az új készségkészletet használják, ami azt eredményezi, hogy az indexdokumentumok a régi és az új készségkészletek kombinációját jelentik.

Növekményes gyorsítótárazással és a képességkészlet frissítését követően az indexelő újra felhasználja a képességkészlet módosítása által nem érintett bővítéseket. A felsőbb rétegbeli gazdagítások a gyorsítótárból lesznek lekértek, valamint minden olyan dúsítás, amely független és el van különítve a megváltozott képességtől.

Deletions

Bár egy indexelő struktúrákat és tartalmakat hoz létre és frissít az Azure Storage-ban, nem törli őket. Az előrejelzések akkor is léteznek, ha az indexelőt vagy a készségkészletet törölték. A tárfiók tulajdonosaként törölnie kell egy előrejelzést, ha már nincs rá szükség.

Következő lépések

A Tudástár a bővített dokumentumok megőrzését kínálja, amelyek hasznosak lehetnek egy készségkészlet tervezésekor, vagy új struktúrák és tartalmak létrehozása a használatukhoz bármely olyan ügyfélalkalmazás számára, amely képes hozzáférni egy Azure Storage-fiókhoz.

A bővített dokumentumok programozott létrehozásának legegyszerűbb módszere a REST API-k.