使用 Azure Logic Apps 工作流程在 Foundry IQ(Azure AI 搜尋服務)中進行自動索引

備註

Foundry IQ(Azure AI 搜尋服務)提供直接的索引與查詢 API,並搭配高階知識來源與知識庫 API 用於受控檢索。 使用 Azure 入口網站、REST API 或 Azure SDK 來設定這些功能,或將代理連線到 Microsoft Foundry 入口網站 中的知識庫。

有關連接外部資料來源時適用的術語,請參閱「外部資料來源」。

在 Foundry IQ(Azure AI 搜尋服務)中,您可以使用 Azure 入口網站的匯入資料精靈,建立一個邏輯應用程式工作流程,將內容進行索引與向量化。 此功能相當於產生索引管線並建立可搜尋內容的 索引器和 資料來源。

在精靈中建立工作流程之後,您可以在 Azure Logic Apps 中管理該工作流程以及其他工作流程。 在幕後,精靈遵循工作流程範本,從來源擷取(匯入)內容以在 Foundry IQ 中進行索引。 此情境中使用的連接器是預先建置且已存在於 Azure Logic Apps 中,因此工作流程範本僅提供這些連接器的詳細資訊,用於建立與資料來源、Foundry IQ 及其他完成匯入工作流程所需的項目的連線。

主要功能

Foundry IQ 中的 Azure Logic Apps 整合新增以下支援:

  • 更多來自 Microsoft 及其他供應商的資料來源
  • 整合向量化
  • 排程或隨選索引編製
  • 新文件與現有文件的變更偵測

匯入資料精靈的輸入包括:

  • 支持的數據源
  • 支援的文字內嵌模型

精靈完成之後,您有下列元件:

元件 地點 Description
搜尋索引 Foundry IQ 包含來自於支援的 Logic Apps 連接器的索引內容。 索引架構是精靈所建立的預設索引。 您可以新增額外的元素,例如評分配置檔或語意設定,但無法變更現有的欄位。 您可以在 Foundry IQ 上檢視、管理並存取搜尋索引。
邏輯應用程式資源和工作流程 Azure Logic Apps 你可以查看正在執行的工作流程,或在 Azure Logic Apps 裡開啟設計器來編輯工作流程,就像你從 Azure Logic Apps 開始一樣。 你可以編輯和延伸工作流程,但要小心不要破壞索引流程。 精靈所建立的工作流程會使用 [使用量] 主機選項。
邏輯應用程式範本 Azure Logic Apps 每個工作流程最多建立兩個範本:一個用於隨選索引編製,另一個用於排程索引編製的範本。 您可以在工作流程的 [ 索引多個檔 ] 步驟中修改編製索引排程。

先決條件

  • 您必須是 Azure 訂用帳戶中的 擁有者 或 參與者 ,且具有建立資源的許可權。

  • 若您想使用 Foundry IQ 服務識別碼連接至 Azure 資料來源,請採用 Foundry IQ 基本定價層級或更高版本。 否則,你可以使用任何等級,但有等級限制。

  • 具有支援的內嵌模型部署的 Azure OpenAI。 向量化會整合到工作流程中。 如果您不需要向量,您可以忽略字段,或嘗試其他索引編製策略。

  • Azure Logic Apps 位於支援的區域中。 如果您想要在連線上使用 Microsoft Entra 識別碼驗證,而不是 API 金鑰,它應該具有 系統指派的受控識別 。

備註

邏輯應用程式工作流程是可計費的資源。 如需詳細資訊,請參閱 Azure Logic Apps 定價。

支援的區域

下列區域提供端對端功能,提供資料來源連線、檔破解、檔區塊、Azure OpenAI 內嵌模型的支援,以及提取資料的內建索引支援。 Azure Logic Apps 的下列區域提供編製索引整合所依據的 ParseDocument 動作。

  • 美國東部
  • 美國東部 2
  • 美國中南部
  • 美國西部 2
  • 美國西部 3
  • 巴西南部
  • Australia East
  • 東亞
  • 東南亞
  • 北歐
  • 瑞典中部
  • 英國南部

支援的模型

邏輯應用程式透過 匯入資料 向導的路徑支援多種嵌入模型。

針對您的端對端工作流程,在 Azure OpenAI 上部署下列其中一個內 嵌模型 。

  • text-embedding-3-small
  • text-embedding-3-large
  • text-embedding-ada-002

支援的連接器

下列連接器適用於編製非結構化數據的索引,做為主要以結構化數據為目標的傳統索引器補充。

支援的動作

邏輯應用程式整合包含下列索引動作。 欲了解更多資訊,請參閱 從 Azure Logic Apps 的工作流程連接至 Foundry Tools。

  • 檢查新資料。

  • 取得資料。 使用觸發程序輸出中的檔案 URL 擷取上傳文件的 HTTP 動作。

  • 撰寫文件詳細資料。 串連各種項目的「資料作業」動作。

  • 建立權杖字串。 使用 Compose 動作的輸出產生語彙基元字串的資料作業動作。

  • 建立內容區塊。 資料作業動作,它會根據每個內容區塊的字元數或語彙基元數,將語彙基元字串拆分成多個部分。

  • 將標記化資料轉換為 JSON。 將權杖字串區塊轉換為 JSON 陣列的「資料作業」動作。

  • 選取 [JSON 陣列項目]。 從 JSON 陣列中選取多個項目的 Data Operations 動作。

  • 產生內嵌。 Azure OpenAI 動作,可為每個 JSON 陣列項目建立嵌入。

  • 選取內嵌和其他資訊。 選擇嵌入向量和其他文件資訊的資料操作動作。

  • 為資料編製索引。 一個 Foundry IQ 動作,根據每個選取的嵌入對資料進行索引。

它也支援下列查詢動作:

  • 等待輸入提示。 會根據排程的定期或分別回應特定事件,輪詢或等候新資料送達的觸發程序。

  • 模型的輸入系統訊息。 提供輸入以定型模型的資料作業動作。

  • 輸入範例問題和答案。 資料作業動作,提供範例客戶問題和相關聯的角色來訓練模型。

  • 輸入搜尋查詢的系統訊息。 資料作業動作,提供搜尋查詢輸入來定型模型。

  • 產生搜尋查詢。 內嵌程式碼動作,使用 JavaScript 根據上述 Compose 動作的輸出,建立向量資料庫的搜尋查詢。

  • 將查詢轉換為內嵌。 連線到聊天完成 API 的 Azure OpenAI 動作,可保證聊天交談中的可靠回應。

  • 取得內嵌。 取得單一向量內嵌的 Azure OpenAI 動作。

  • 搜尋向量資料庫。 一個 Foundry IQ 動作,用於在向量儲存庫中執行搜尋。

  • 建立提示。 使用 JavaScript 來建立提示的內嵌程式碼動作。

  • 執行聊天完成。 連線到聊天完成 API 的 Azure OpenAI 動作,可保證聊天交談中的可靠回應。

  • 傳回回應。 當您使用 Request 觸發器時,Request 動作會將結果傳回給呼叫者。

局限性

  • 搜尋索引是使用固定架構來產生(文件標識符、內容和向量化內容),且只有文字擷取。 只要更新不會影響現有的欄位 ,您就可以修改索引 。

  • 向量化僅支援文字內嵌。

  • 不支援刪除偵測。 您必須從索引中手動刪除孤立的文件。

  • 搜尋索引中重複文件是此功能的已知問題。 如果發生這個問題,建議刪除物件重新開始。

  • 在入口網站精靈所建立的邏輯應用程式工作流程中,不支援私人端點。 工作流程是使用 [使用量] 主機選項來裝載,並受限於其條件約束。 若要使用 標準 裝載選項,請使用程式設計方法來建立工作流程。

建立邏輯應用程式工作流程

請依照以下步驟建立用於在 Foundry IQ 中索引內容的邏輯應用程式工作流程。

  1. 在 Azure 入口網站啟動資料匯入嚮導。

  2. 選擇 支援的 Azure Logic Apps 連接器。

    匯入資料精靈中所選資料來源頁面的螢幕擷圖。

  3. 在連線到您的資料中,提供用於搜尋索引和工作流程的名稱前置詞。 擁有共同名稱能夠幫助您一起管理它們。

  4. 指定索引編製頻率。 如果您選擇排程,則會使用包含排程選項的範本來建立工作流程。 您可以在工作流程建立后,於工作流程的 [ 索引多個檔 ] 步驟中修改索引排程。

  5. 選取驗證類型,其中邏輯應用程式流程會連線至搜尋引擎,並開始索引過程。 工作流程可使用 Foundry IQ API 金鑰 連接,或精靈可建立角色指派,授予 Logic Apps 系統指派的管理身份權限(假設存在)。

  6. 選取 [下一步 ] 以繼續下一頁。

  7. 在 向量化您的文字中,提供模型部署和 Azure OpenAI 連線資訊。 選擇訂用帳戶和服務、 支援的文字內嵌模型,以及工作流程用來連線到 Azure OpenAI 的驗證類型。

  8. 選取 [下一步 ] 以繼續下一頁。 檢查設定。

  9. 選取 [建立] 開始處理。

    工作流程在 Logic Apps(Consumption)中以無伺服器工作流程形式執行,與 Foundry IQ 服務分開。

  10. 在 Azure 入口網站的 Foundry IQ 索引頁面中確認建立索引。 搜尋總管 是第一個分頁。選擇 「搜尋 」以回傳部分內容。

修改現有的物件

您可以對搜尋索引進行下列修改,而不中斷索引編制:

您可以對工作流程進行下列更新,而不中斷索引編制:

  • 修改 資料夾中的清單檔案 ,以變更傳送至索引的檔案數目。
  • 修改 區塊文字 以改變令牌輸入。 針對大部分案例,建議的令牌大小為512個令牌。
  • 修改 區塊文字 以新增頁面重迭長度。
  • 如果您選擇精靈中的排程索引編製,請修改 索引多個檔 步驟來控制索引編製頻率。

在邏輯應用程式設計工具中,檢閱工作流程和索引管線中的每個步驟。 工作流程會指定檔擷取、默認文件區塊化(文字分割技能)、內嵌 (Azure OpenAI 內嵌技能)、輸出字段對應,最後編製索引。

Logic App Designer 中工作流程的截圖。

範本和工作流程管理

當您指定Logic Apps索引器時,精靈會建立範本和工作流程。 若要建立和管理它們,包括範本刪除,請使用邏輯應用程式設計工具。 Azure 入口網站的 Foundry IQ 服務儀表板不提供範本或工作流程管理,目前 Foundry IQ API 中也沒有程式化支援。