在 Azure 入口網站中的資料匯入精靈

Note

Azure AI 搜尋服務 可透過 Azure 入口網站、REST API 及 Azure SDK 取得。 它同時也是 Foundry IQ 的基礎,這是一個管理式知識層,能將企業內容轉化為可重複使用、權限感知的知識庫,供 Microsoft Foundry 入口網站中的代理使用。

Azure入口網站中的 Import data 精靈提供一條無需程式碼的路徑,指向可查詢的搜尋索引。 它連接支援的資料來源,設定可選的 AI 豐富化與向量化,推斷索引結構,並將內容載入索引中。 您可以使用精靈來搜尋關鍵字、RAG 和多模態 RAG。

巫師支援:

  • 索引器流程建立,包括索引、索引器、資料來源及技能組。
  • 內建索引器與 Azure Logic Apps 連接器。
  • 技能型 AI 擴充。
  • 資料分塊與整合向量化,包括多模態嵌入。
  • 語意排名配置。
  • 知識庫的建立。

向導所支持的

本節說明向導中可用的功能。

內建取樣資料

飯店樣本指數的內建樣本資料已不再提供。 不過,您也可以透過快速入門:在 Azure 入口網站中進行全文檢索來建立相同的索引。

數據源

精靈透過 內建索引器 或 Logic Apps 連接器連接以下資料來源。

數據源 已支援 連線
ADLS第二代 ✅ 內建索引器
Azure Blob 儲存體 ✅ 內建索引器
Azure 檔案儲存 ✅ Logic Apps 連接器
Azure 佇列 ✅ Logic Apps 連接器
Azure 資料表儲存體 ✅ 內建索引器
Azure SQL Database 以及受控實例 ✅ 內建索引器
Cosmos 資料庫用於 NoSQL ✅ 內建索引器
Cosmos DB for MongoDB(預覽版) ✅ 內建索引器
Cosmos DB for Apache Gremlin (preview) ✅ 內建索引器
MySQL(預覽版) ❌ 不適用
OneDrive ✅ Logic Apps 連接器
OneDrive 商務版 ✅ Logic Apps 連接器
OneLake ✅ 內建索引器
服務巴士 ✅ Logic Apps 連接器
SharePoint ✅ Logic Apps 連接器
SQL Server 在虛擬機器上 ✅ 內建索引器

小提示

你可以不用 Logic Apps 連接器來管理 Azure 檔案儲存或 SharePoint,而是用 Search Service REST API 程式化索引這些來源的資料。 欲了解更多資訊,請參閱 Azure 檔案儲存體 索引資料(預覽)及 SharePoint 文件庫索引資料(預覽)。

技術

下列技能可能會出現在精靈產生的技能集中。 建立技能組之後,您可以修改其 JSON 定義,以新增或移除技能。

技能 已支援 描述
AML ✅ 僅適用於 RAG 及多模態 RAG。
Azure Vision 多模態嵌入(預覽) ✅ 僅適用於 RAG 及多模態 RAG。
Azure OpenAI 嵌入 ✅ 僅適用於 RAG 及多模態 RAG。
文件版面 ✅ 僅適用於 RAG 及多模態 RAG。
實體識別 ✅ 僅供關鍵字搜尋使用。
影像分析 ✅ 適用於 Azure 儲存體 blobs 和 Microsoft OneLake 檔案,假設預設解析模式。 使用圖片內容類型,如 PNG 或 JPG,或應用程式檔案中嵌入的圖片,如 PDF。
關鍵片語擷取 ✅ 僅供關鍵字搜尋使用。
語言偵測 ✅ 僅供關鍵字搜尋使用。 當技能組包含實體識別、關鍵詞擷取或文字分割時,會自動新增。 無法使用者設定。
文本翻譯 ❌ 不適用。
光學字元識別 ✅ 適用於 Azure 儲存體 blobs 和 Microsoft OneLake 檔案,假設預設解析模式。 使用圖片內容類型,如 PNG 或 JPG,或應用程式檔案中嵌入的圖片,如 PDF。
PII 偵測 ❌ 不適用。
情緒 ❌ 不適用。
塑形師 ❌ 不適用。
文字分割 ✅ 選擇嵌入模型時,新增用於資料分塊。 對於非內嵌技能,當您將來源欄位精細度設定為頁面或句子時,就會新增它。
文字合併 ✅ 選擇嵌入模型時,新增用於資料分塊。 對於非內嵌技能,當您將來源欄位精細度設定為頁面或句子時,就會新增它。

語義排序

語意排名適用於所有精靈情境:關鍵字搜尋、RAG 及多模態 RAG。 如果你啟用它,精靈會在索引中加入 語意配置 。

知識存放區

知識庫 建立僅適用於多模態 RAG 情境。 精靈會從你的文件中擷取圖片,並將它們以 blob 形式儲存在你指定的 Azure 儲存體 容器中。

巫師創造的東西

當你完成精靈後,它會在你的搜尋服務中建立多個物件。 具體的物件取決於你選擇的選項。 例如,若套用技能型擴充,就會建立一套技能。

物體 描述
資料來源 儲存支援的 Microsoft 或 Azure 資料來源的連線資訊。
指數 全文檢索搜尋、向量搜尋和其他查詢的實體資料結構。 如果你啟用語意排序,可以包含語意配置。
索引器 透過可選排程從資料來源拉取資料到目標索引,推動資料匯入。 也可以參考技能。
Skillset (可選)一組用於 AI 豐富化、資料分塊及索引整合向量化的指令。
知識存放區 (可選)Azure 儲存體 中的次要儲存用於技能集輸出,例如擷取的影像。

若要在精靈執行後,查看這些物件:

  1. 前往Azure 入口網站中的搜尋服務。
  2. 從左窗格中,選取 [ 搜尋管理 ] 以尋找索引、索引子、資料來源和技能組的頁面。

優點和限制

本節討論巫師體驗的優缺點。 利用這些資訊決定何時使用精靈,何時考慮替代方案,例如使用 REST API 或 Azure SDK 的程式化方法。

優點

在你寫任何程式碼之前,你可以使用精靈進行原型設計和概念驗證測試。 精靈會連接外部資料來源,取樣資料建立初始索引,然後匯入並可選擇將資料向量化為 JSON 文件,並整合成 Azure AI 搜尋服務 上的索引。

如果您在評估技能,精靈會處理輸出欄位對應,並新增輔助函式來建立可用的物件。 當您指定剖析模式時,會新增文字分割。 選擇影像分析時會加入文字合併功能,讓精靈能將文字描述與圖片內容重新合併。 所有這些任務都有一個學習曲線。 如果您不熟悉擴充,為您處理這些步驟可讓您測量技能的價值,而無須投入太多時間和精力。

取樣是推斷索引綱目的過程,它有一些限制。 當資料來源建立時,嚮導會隨機抽取一組文件,決定哪些欄位屬於資料來源。 並非所有檔案都能被讀取,因為對於大型資料來源來說,讀取可能要花好幾個小時。 給定一組文件,來源中繼資料(例如欄位名稱或類型)可以用來在索引架構中建立欄位集合。 根據來源資料的複雜性,您可能需要編輯初始結構描述以確保準確性,或擴充它以確保完整性。 您可以在索引定義頁面上內嵌變更。

整體而言,精靈的優點很明顯:只要符合需求,你就能在幾分鐘內建立可查詢的索引。 精靈處理索引的部分複雜性,例如將資料序列化為 JSON 文件。

限制

  • 巫師不支援迭代或重複使用。 每次透過精靈都會建立索引、技能和索引子設定。 完成精靈後,你可以使用其他入口工具、REST API 或 Azure SDK 編輯已建立的物件。

  • 來源內容必須位於支援的資料來源中。

  • 取樣用於推斷初步索引結構,會針對部分來源資料進行。 對於大型資料來源,精靈可能會漏掉欄位。 如果抽樣不足,可能需要手動在索引中新增欄位或修正推斷的資料型別。

  • AI 擴充和整合向量化,如精靈中所公開,僅限於內建技能的子網路。

安全連線

網路保護影響入口到端點的連線,以及在入口網站操作期間的端點與外部資源連線。

通往搜尋服務的入口連接

入口網站對受網路保護端點的連線會使用您的用戶端 IP 位址。

小提示

入口網站會偵測到你的用戶端 IP 位址,並提示你將其加入 search service 防火牆。

入口網站連線至外部資源

精靈連接外部資源以用於:

  • 索引時的資料檢索。
  • 濃縮及整合向量化的人工智慧處理,由Microsoft Foundry的資源或模型執行。

從精靈中,幾乎每個對網路保護資料和 AI 處理的輸出要求都是使用您用戶端的 IP 位址。

本節說明外撥請求的連線需求。

配置對外部資源的入口存取權限

  • IP 保護資源:將您的用戶端 IP 位址新增至外部資源的 allowList。 若支援,請將 Microsoft.Search/searchServices 列為可信服務。 例如,在 Azure 儲存體 中,你可以將 Microsoft.Search/searchServices 列為受信任服務。

  • 私人連線:精靈使用 共享私有連結。 請確認您的 search service 符合等級和地區要求。 確認你的外部資料來源是否支援共享私有連結。

如果巫師無法連線,你會看到"Access denied due to 虛擬網路/Firewall rules"。 考慮以腳本化或程式化方法作為替代方案。

Workflow

精靈遵循一個高層次的工作流程:

  1. 連接支援的 Azure 資料來源。

  2. (選用)新增技能以擷取或產生內容和結構。

  3. 建立索引結構描述,由取樣來源資料進行推斷。

  4. 執行精靈以建立物件、選擇性地將資料向量化、將資料載入索引、設定排程,以及設定其他選項。

工作流程是單向管線。 你不能用精靈編輯任何已建立的物件,但你可以使用其他入口工具,例如索引設計器或 JSON 編輯器,來進行允許的更新。

啟動精靈

  1. 前往Azure 入口網站中的搜尋服務。

  2. 在 概觀 頁面上,選取 匯入資料。

    匯入精靈選項的螢幕擷取畫面。

    精靈程式會在瀏覽器視窗中完全展開,提供更大的操作空間。

  3. 選擇情境: 關鍵字搜尋、 RAG 或 Multimodal RAG。

    你選擇的情境決定了可用的資料來源和技能,以及精靈所建立的索引結構和索引器設定。

  4. 請遵循其餘步驟來建立索引、索引子和其他適用的物件。

設定資料來源

精靈透過索引器提供的內部邏輯連接外部支援資料來源,索引器具備取樣原始碼、讀取元資料、破解文件以讀取內容與結構,並將內容序列化為 JSON 以便後續匯入Azure AI 搜尋服務。

並非所有預覽資料來源都能在精靈中提供。 因為每個資料來源都有可能在下游引進變更,所以只有在預覽資料來源完全支援精靈的所有體驗時,才會新增預覽資料來源,例如技能組定義和索引架構推斷。

您只能從單一表格、資料庫檢視或對等資料結構匯入。 不過,結構可以包含階層式或巢狀子結構。 如需詳細資訊,請參閱如何建立複雜類型模型。

配置技能組

技能集設定在資料來源定義之後發生,因為資料來源的類型會告知特定內建技能是否可用。 例如,如果你在索引 Azure Blob 儲存體 的檔案,選擇的解析模式會決定是否支援情感分析。

向導不僅會加入你選擇的技能,還會加入實現成功結果所需的技能。

技能集是可選的,如果您不想使用 AI 增強,頁面底部有一個按鈕可以跳過前進。

設定索引結構

精靈會取樣你的資料來源來偵測欄位和欄位類型。 根據資料來源不同,它也可能提供索引元資料的欄位。

因為取樣是不精確的練習,請就下列考量檢閱索引:

  1. 欄位清單是否正確? 如果您的資料來源包含未在取樣中挑選的欄位,您可以手動新增遺漏的欄位。 您也可以移除不會為搜尋體驗增加價值,或不會在 篩選運算式 或 評分設定檔中使用的欄位。

  2. 資料類型是否適用於傳入的資料? Azure AI 搜尋服務 支援 實體資料模型(EDM)資料型別。 Azure SQL資料有一張mapping chart,列出等效值。 如需詳細資訊,請參閱 欄位對應和轉換。

  3. 您是否有一個欄位可做為金鑰? 此欄位必須是唯一識別檔的 Edm.String。 針對關聯式資料,其可能會對應至主索引鍵。 針對 Blob,可能是 metadata-storage-path。 如果欄位值包含空格或虛線,您必須在 [進階選項] 底下的 [建立索引子] 步驟中設定 [Base-64 編碼索引鍵] 選項,以隱藏這些字元的驗證檢查。

  4. 設定屬性以判斷該欄位在索引中的使用方式。

    請花點時間進行此步驟,因為屬性會決定索引中欄位的實體運算式。 如果您想稍後變更屬性,即使是以程式設計方式,您幾乎總是需要捨棄並重建索引。 核心屬性如Searchable和Retrievable對存儲的影響幾乎可以忽略不計。 啟用篩選器和使用建議工具會增加storage需求。

    • Searchable 能夠進行全文檢索搜尋。 自由格式查詢或查詢表示式中使用的每個欄位都必須具有此屬性。 針對您標示為 Searchable 的每個欄位,系統會建立反向索引。

    • Retrievable 會在搜尋結果中傳回欄位。 提供內容來搜尋結果的每個欄位都必須有這個屬性。 設定這個欄位對索引大小的影響很小。

    • Filterable 允許在篩選運算式中參考欄位。 用於 $filter 運算式的每個欄位都必須有這個屬性。 篩選條件運算式會用來進行精準比對。 由於文字字串保持完整,需要更多的儲存空間來配合逐字內容。

    • Facetable 可讓欄位進行多面向導覽。 只有同時標示為 Filterable 的欄位才可以標示為 Facetable。

    • Sortable 允許欄位用於排序。 用於 $Orderby 運算式的每個欄位都必須有這個屬性。

  5. 您需要語彙分析嗎? 對於 可搜尋的 Edm.String 欄位,如果您想要語言增強的索引和查詢,您可以設定 分析器 。

    預設為 標準盧辛語,但若想使用Microsoft的分析器進行進階詞彙處理,例如解析不規則名詞與動詞形式,可選擇Microsoft 英文。 Azure 入口網站只能指定語言分析器。 如果您想要使用自訂分析器或非語言分析器,例如關鍵字或型樣,則必須以程式設計方式建立它。 如需詳細資訊,請參閱 新增語言分析器。

  6. 您需要自動完成或建議結果形式的預先輸入功能嗎? 選取 建議器 核取方塊,以在選取的欄位上啟用 即時查詢建議和自動完成。 建議者會增加索引中代幣化詞彙的數量,因此會消耗更多storage。

設定索引器

精靈的最後一頁會收集索引子設定的使用者輸入。 您可以 指定排程 ,並設定因資料來源類型而異的其他選項。

在內部,精靈會設定下列定義,這些定義在建立索引子之前不會顯示在索引子中。

試試巫師

了解 匯入資料 精靈的優點與限制,最好的方法是親自操作它。 以下快速入門是基於該精靈。