Note
Foundry IQ(Azure AI 搜尋服務)提供直接的索引與查詢 API,並搭配高階知識來源與知識庫 API 用於受控檢索。 使用 Azure 入口網站、REST API 或 Azure SDK 來設定這些功能,或將代理連線到 Microsoft Foundry 入口網站 中的知識庫。
Note
知識儲存是存在於 Azure 儲存體 中的次級儲存,包含 Foundry IQ(Azure AI 搜尋服務)技能組合的輸出。 它們與知識來源和知識庫是分開的,後者用於 代理檢索 工作流程。
知識儲存庫是 Foundry IQ 技能 組中由 AI 強化內容的 次級儲存空間。 在 Foundry IQ 中,索引工作總是將輸出傳送到搜尋索引,但如果你將技能組合附加到索引器,也可以選擇性地將 AI 強化的輸出傳送到 Azure 儲存體 中的容器或資料表。 知識存放區可以用於非搜尋案例 (例如知識採礦) 中的獨立分析或下游處理。
編製索引的兩個輸出 (搜尋索引和知識存放區) 是相同管線的互斥產品。 這兩者衍生自相同的輸入且包含相同的資料,但其內容分別在不同的應用程式中結構化、儲存及使用。
實際上,知識存放區是 Azure 儲存體,可能會以 Azure 表格儲存體和 (或) Azure Blob 儲存體的形式存在。 任何可連線至 Azure 儲存體的工具或程序都可以取用知識存放區的內容。 Foundry IQ 沒有支援從知識存放區擷取內容的查詢功能。
透過 Azure 入口網站檢視時,知識存放區看起來就像任何其他資料表、物件或檔案的集合。 下列螢幕擷取畫面顯示由三個資料表組成的知識存放區。 您可以採用命名慣例,例如 kstore 前置詞,將您的內容保存在一起。
知識存放區的優點
知識存放區的主要優點有兩個:彈性地存取內容,以及塑造資料的能力。
與只能透過 Foundry IQ 查詢存取的搜尋索引不同,知識庫可對任何支援連接 Azure 儲存體 的工具、應用程式或流程存取。 這種彈性為取用擴充管線所產生之分析和擴充內容,開啟了新的案例。
擴充資料的相同技能也可以用來塑造資料。 某些工具 (例如 Power BI) 較適合與資料表搭配使用,而資料科學工作負載可能需要 Blob 格式的複雜資料結構。 將 Shaper 技能新增至技能可讓您控制資料的形態。 然後,您可以將這些形態傳遞至投影項目 (資料表或 Blob),以建立與資料預期用途相符的實體資料結構。
下列影片將說明這兩個優點與其他資訊。
知識存放區定義
知識存放區會在技能定義內進行定義,而且有兩個元件:
Azure 儲存體的連接字串
投影,用來判斷知識儲存區是否由資料表、物件或檔案組成。 投影元素是陣列。 您可以在一個知識存放區內建立多個「資料表-物件-檔案」組合。
"knowledgeStore": { "storageConnectionString":"<YOUR-AZURE-STORAGE-ACCOUNT-CONNECTION-STRING>", "projections":[ { "tables":[ ], "objects":[ ], "files":[ ] } ] }
您在此結構中指定的投影類型會決定知識存放區所使用的儲存體類型,但不是其結構。 表格、物件和檔案中的欄位,如果你是以程式方式建立知識庫,則由 Shaper 技能輸出決定;如果你使用 Azure 入口網站,則由 匯入資料 精靈決定。
tables將擴充的內容投影到 Table Storage 中。 當需要表格式報告結構以輸入至分析工具,或作為資料框架匯出至其他資料存放區時,請定義資料表投影。 您可以在同一個投影群組內指定多個tables,以取得擴充文件的子集或橫斷面。 在同一投影群組內,資料表的關聯性會被保留,讓您可以使用所有的資料表。投影的內容不會彙總或正規化。 下列螢幕擷取畫面顯示一個依關鍵片語排序的資料表,旁邊欄位中標示出父文件。 相較於在編索引時的資料擷取,這裡沒有對內容進行語言分析或彙總。 複數形式和大小寫差異都視為唯一執行個體。
將
objects專案 JSON 文件儲存到 Blob 儲存空間。object其實體表示是一種代表擴充文件的階層式 JSON 結構。files將影像檔案專案到 Blob 儲存空間。file是從文件擷取並完整傳輸至 Blob 儲存體的影像。 雖然其名為「檔案」,但其會顯示在 Blob 儲存體中,而不是檔案儲存體。
建立知識存放區
使用 Azure 入口網站、REST API 或 Azure SDK 套件來建立知識庫。 所有方法都需要 Azure 儲存、 技能集和 索引器。 由於索引器需要搜尋索引,你也必須提供 索引定義。
REST API 與 SDK 提供對投影的完全控制:資料表、物件與檔案。 Azure 入口網站會自動建立知識庫,作為多模態 RAG 工作流程的一部分,該工作流程僅限於擷取影像的檔案投影。
匯入資料精靈僅為多模態 RAG 情境建立知識庫。 欲開始,請參閱 Azure 入口網站中的快速入門:多模態搜尋。
使用應用程式連線
一旦儲存體中存在擴充的內容之後,連線到 Azure 儲存體的任何工具或技術都可以用來探索、分析或取用內容。 下列清單是一個起點:
儲存體總管 或 Azure 入口網站中的儲存瀏覽器,以檢視更豐富的文件結構與內容。 您可以將此視為基準工具來檢視知識存放區內容。
Power BI 用於報表與分析。
Azure Data Factory 進行進一步操作。
內容生命週期
每次執行索引子和技能時,如果技能或基礎來源資料變更,知識存放區就會隨之更新。 索引子挑出的任何變更,都會透過擴充程序傳播到知識存放區中的投影,確保您的投影資料是來源資料來源內容的最新表示。
Note
雖然您可以在投影中編輯資料,但假如來源資料中的文件已更新,則任何編輯在下一次管線調用時都會被覆寫。
來源資料中的變更
對於支援變更追蹤的資料來源,索引子會處理最新和變更的文件,並略過已經處理的現有文件。 時間戳記資訊會因資料來源不同而有所差異,但在 Blob 容器中,索引子會查看 lastmodified 日期以判斷需要擷取哪些 Blob。
技能的變更
如果您要變更技能組,應該啟用擴充文件的快取功能(預覽),以便在可能的情況下重複使用現有的擴充結果。
若沒有增量快取,索引子一律會依高水位標記的順序處理文件,而不會往回處理。 對於 Blob,索引子會依 lastModified 排序處理 Blob,不論索引子設定或技能集有任何變更。 如果您變更技能,先前處理的文件並不會更新以反映新的技能。 技能變更之後處理的文件會使用新的技能,導致索引文件中混合舊技能和新技能。
使用增量快取時,在技能集更新之後,索引子會重複使用任何未受技能集變更影響的擴充結果。 上游擴充結果會從快取中提取,而任何獨立且與已變更技能無關的擴充結果,也會從快取中提取。
Deletions
雖然索引子會在 Azure 儲存體中建立和更新結構及內容,但不會將其刪除。 儘管刪除索引器或技能集,預測仍會繼續存在。 身為儲存體帳戶擁有者,如果投影不再需要,您應該刪除它。
後續步驟
知識存放區可提供擴充文件的持續性,在設計技能集時,或是在建立新結構和內容供任何能夠存取 Azure 儲存體帳戶的用戶端應用程式使用時,將可發揮作用。
以程式方式建立豐富文件最簡單的方法是透過 REST API。