Note
Foundry IQ(Azure AI 搜尋服務)提供直接的索引與查詢 API,並搭配高階知識來源與知識庫 API 用於受控檢索。 使用 Azure 入口網站、REST API 或 Azure SDK 來設定這些功能,或將代理連線到 Microsoft Foundry 入口網站 中的知識庫。
Azure入口網站中的 Import data 精靈提供一條無需程式碼的路徑,指向可查詢的搜尋索引。 它連接支援的資料來源,設定可選的 AI 豐富化與向量化,推斷索引結構,並將內容載入索引中。 您可以使用精靈來搜尋關鍵字、RAG 和多模態 RAG。
巫師支援:
- 索引器流程建立,包括索引、索引器、資料來源及技能組。
- 內建索引器與 Azure Logic Apps 連接器。
- 技能型 AI 擴充。
- 資料分塊與整合向量化,包括多模態嵌入。
- 語意排名配置。
- 知識庫的建立。
向導所支持的
本節說明向導中可用的功能。
內建取樣資料
飯店樣本指數的內建樣本資料已不再提供。 不過,您也可以透過快速入門:在 Azure 入口網站中進行全文檢索來建立相同的索引。
數據源
精靈透過 內建索引器 或 Logic Apps 連接器連接以下資料來源。
| 數據源 | 已支援 | 連線 |
|---|---|---|
| ADLS Gen2 | ✅ | 內建索引器 |
| Azure Blob 儲存體 | ✅ | 內建索引器 |
| Azure 檔案儲存 | ✅ | Logic Apps 連接器 |
| Azure Queues | ✅ | Logic Apps 連接器 |
| Azure 資料表儲存體 | ✅ | 內建索引器 |
| Azure SQL Database 與 受控執行個體 | ✅ | 內建索引器 |
| Cosmos DB for NoSQL | ✅ | 內建索引器 |
| Cosmos DB for MongoDB(預覽版) | ✅ | 內建索引器 |
| Cosmos DB for Apache Gremlin (preview) | ✅ | 內建索引器 |
| MySQL(預覽版) | ❌ | 不適用 |
| OneDrive | ✅ | Logic Apps 連接器 |
| 商務用 OneDrive | ✅ | Logic Apps 連接器 |
| OneLake | ✅ | 內建索引器 |
| 服務巴士 | ✅ | Logic Apps 連接器 |
| SharePoint | ✅ | Logic Apps 連接器 |
| 虛擬機器上的 SQL Server | ✅ | 內建索引器 |
小提示
你可以不用 Logic Apps 連接器來管理 Azure 檔案儲存或 SharePoint,而是用 Search Service REST API 程式化索引這些來源的資料。 如需更多資訊,請參閱「來自 Azure 檔案儲存體 的索引資料(預覽版)」及「來自 SharePoint 的索引資料」。
技術
下列技能可能會出現在精靈產生的技能集中。 建立技能組之後,您可以修改其 JSON 定義,以新增或移除技能。
| 技能 | 已支援 | 描述 |
|---|---|---|
| AML | ✅ | 僅適用於 RAG 及多模態 RAG。 |
| Azure Vision multimodal embedding (preview) | ✅ | 僅適用於 RAG 及多模態 RAG。 |
| Azure OpenAI 嵌入 | ✅ | 僅適用於 RAG 及多模態 RAG。 |
| 文件版面配置 | ✅ | 僅適用於 RAG 及多模態 RAG。 |
| 實體識別 | ✅ | 僅供關鍵字搜尋使用。 |
| 影像分析 | ✅ | 適用於 Azure 儲存體 blobs 和 Microsoft OneLake 檔案,假設預設解析模式。 使用圖片內容類型,如 PNG 或 JPG,或應用程式檔案中嵌入的圖片,如 PDF。 |
| 關鍵片語擷取 | ✅ | 僅供關鍵字搜尋使用。 |
| 語言偵測 | ✅ | 僅供關鍵字搜尋使用。 當技能組包含實體識別、關鍵詞擷取或文字分割時,會自動新增。 無法使用者設定。 |
| 文字翻譯 | ❌ | 不適用。 |
| OCR | ✅ | 適用於 Azure 儲存體 blobs 和 Microsoft OneLake 檔案,假設預設解析模式。 使用圖片內容類型,如 PNG 或 JPG,或應用程式檔案中嵌入的圖片,如 PDF。 |
| PII 偵測 | ❌ | 不適用。 |
| 情感 | ❌ | 不適用。 |
| 塑形器 | ❌ | 不適用。 |
| 文字分割 | ✅ | 選擇嵌入模型時,新增用於資料分塊。 對於非內嵌技能,當您將來源欄位精細度設定為頁面或句子時,就會新增它。 |
| 文字合併 | ✅ | 選擇嵌入模型時,新增用於資料分塊。 對於非內嵌技能,當您將來源欄位精細度設定為頁面或句子時,就會新增它。 |
語義排序
語意排名適用於所有精靈情境:關鍵字搜尋、RAG 及多模態 RAG。 如果你啟用它,精靈會在索引中加入 語意配置 。
知識存放區
知識庫建立僅適用於多模態 RAG 情境。 精靈會從你的文件中擷取圖片,並將它們以 blob 形式儲存在你指定的 Azure 儲存體 容器中。
巫師創造的東西
完成精靈後,會在 Foundry IQ 服務上建立多個物件。 具體的物件取決於你選擇的選項。 例如,若套用技能型擴充,就會建立一套技能。
| 物體 | 描述 |
|---|---|
| 資料來源 | 儲存支援的 Microsoft 或 Azure 資料來源的連線資訊。 |
| 索引 | 全文檢索搜尋、向量搜尋和其他查詢的實體資料結構。 如果你啟用語意排序,可以包含語意配置。 |
| 索引器 | 透過可選排程從資料來源拉取資料到目標索引,推動資料匯入。 也可以參考技能。 |
| 技能組合 | (可選)一組用於 AI 豐富化、資料分塊及索引整合向量化的指令。 |
| 知識存放區 | (可選)Azure 儲存體 中的次要儲存用於技能集輸出,例如擷取的影像。 |
若要在精靈執行後,查看這些物件:
- 前往 Azure 入口網站中的 Foundry IQ 服務。
- 從左窗格中,選取 [ 搜尋管理 ] 以尋找索引、索引子、資料來源和技能組的頁面。
優點和限制
本節討論巫師體驗的優缺點。 利用這些資訊決定何時使用精靈,何時考慮替代方案,例如使用 REST API 或 Azure SDK 的程式化方法。
優點
在你寫任何程式碼之前,你可以使用精靈進行原型設計和概念驗證測試。 精靈會連接外部資料來源,取樣資料以建立初始索引,然後匯入並可選擇將資料匯入並向量化為 JSON 文件,並匯入 Foundry IQ 上的索引。
如果您在評估技能,精靈會處理輸出欄位對應,並新增輔助函式來建立可用的物件。 當您指定解析模式時,會新增文字分割功能。 當您選擇影像分析時,會新增文字合併功能,以便精靈將文字描述與影像內容重新合併。 所有這些任務都有一個學習曲線。 如果您不熟悉擴充,為您處理這些步驟可讓您測量技能的價值,而無須投入太多時間和精力。
取樣是推斷索引綱目的過程,它有一些限制。 當資料來源建立時,嚮導會隨機抽取一組文件,決定哪些欄位屬於資料來源。 並非所有檔案都能被讀取,因為對於大型資料來源來說,讀取可能要花好幾個小時。 給定一組文件,來源中繼資料(例如欄位名稱或類型)可以用來在索引架構中建立欄位集合。 根據來源資料的複雜性,您可能需要編輯初始結構描述以確保準確性,或擴充它以確保完整性。 您可以在索引定義頁面上內嵌變更。
整體而言,精靈的優點很明顯:只要符合需求,你就能在幾分鐘內建立可查詢的索引。 精靈處理索引的部分複雜性,例如將資料序列化為 JSON 文件。
限制
巫師不支援迭代或重複使用。 每次透過精靈都會建立索引、技能和索引子設定。 完成精靈後,你可以使用其他入口工具、REST API 或 Azure SDK 編輯已建立的物件。
來源內容必須位於支援的資料來源中。
取樣用於推斷初步索引結構,會針對部分來源資料進行。 對於大型資料來源,精靈可能會漏掉欄位。 如果抽樣不足,可能需要手動在索引中新增欄位或修正推斷的資料型別。
安全連線
網路保護影響入口到端點的連線,以及在入口網站操作期間的端點與外部資源連線。
與 Foundry IQ 服務的入口網站連線
入口網站對受網路保護端點的連線會使用您的用戶端 IP 位址。
對於受防火牆保護的 Foundry IQ 服務,請 將您的用戶端 IP 位址新增至入站規則。
對於設定為 私人端點的 Foundry IQ 服務,請使用已允許清單的虛擬機器上的瀏覽器開啟入口網站頁面並執行精靈。
對於已加入網路安全邊界的 Foundry IQ 服務,請 將您的用戶端 IP 位址新增至入站規則。
小提示
入口網站會偵測您的用戶端 IP 位址,並提示您將其新增至 Foundry IQ 服務防火牆。
入口網站連線至外部資源
精靈連接外部資源以用於:
從精靈中,幾乎每個對網路保護資料和 AI 處理的輸出要求都是使用您用戶端的 IP 位址。
本節說明外撥請求的連線需求。
配置對外部資源的入口存取權限
受 IP 保護的資源:將您的用戶端 IP 位址新增至外部資源的
allowList清單。 若支援,請將Microsoft.Search/searchServices列為可信服務。 例如,在 Azure 儲存體 中,你可以將Microsoft.Search/searchServices列為受信任服務。私人連線:精靈使用 共用私有連結。 確認您的 Foundry IQ 服務符合層級及區域需求。 確認你的外部資料來源是否支援共享私有連結。
如果巫師無法連線,你會看到"Access denied due to 虛擬網路/Firewall rules"。 考慮以腳本化或程式化方法作為替代方案。
Workflow
精靈遵循一個高層次的工作流程:
連接支援的 Azure 資料來源。
(選用)新增技能以擷取或產生內容和結構。
建立索引結構描述,由取樣來源資料進行推斷。
執行精靈以建立物件、選擇性地將資料向量化、將資料載入索引、設定排程,以及設定其他選項。
工作流程是單向管線。 你不能用精靈編輯任何已建立的物件,但你可以使用其他入口工具,例如索引設計器或 JSON 編輯器,來進行允許的更新。
啟動精靈
前往 Azure 入口網站中的 Foundry IQ 服務。
在 概觀 頁面上,選取 匯入資料。
精靈程式會在瀏覽器視窗中完全展開,提供更大的操作空間。
選擇情境: 關鍵字搜尋、 RAG 或 Multimodal RAG。
你選擇的情境決定了可用的資料來源和技能,以及精靈所建立的索引結構和索引器設定。
請遵循其餘步驟來建立索引、索引子和其他適用的物件。
設定資料來源
精靈透過索引器提供的內部邏輯連接外部 支援的資料來源 ,索引器具備取樣來源、讀取元資料、破解文件以讀取內容與結構,並將內容序列化為 JSON 以便後續匯入 Foundry IQ。
並非所有預覽資料來源都能在精靈中提供。 因為每個資料來源都有可能在下游引進變更,所以只有在預覽資料來源完全支援精靈的所有體驗時,才會新增預覽資料來源,例如技能組定義和索引架構推斷。
您只能從單一表格、資料庫檢視或對等資料結構匯入。 不過,結構可以包含階層式或巢狀子結構。 如需詳細資訊,請參閱如何建立複雜類型模型。
配置技能組
技能集設定在資料來源定義之後發生,因為資料來源的類型會告知特定內建技能是否可用。 例如,如果你在索引 Azure Blob 儲存體 的檔案,選擇的解析模式會決定是否支援情感分析。
向導不僅會加入你選擇的技能,還會加入實現成功結果所需的技能。
技能集是可選的,如果您不想使用 AI 增強,頁面底部有一個按鈕可以跳過前進。
設定索引結構
精靈會取樣你的資料來源來偵測欄位和欄位類型。 根據資料來源不同,它也可能提供索引元資料的欄位。
因為取樣是不精確的練習,請就下列考量檢閱索引:
欄位清單是否正確? 如果您的資料來源包含未在取樣中挑選的欄位,您可以手動新增遺漏的欄位。 您也可以移除不會為搜尋體驗增加價值,或不會在 篩選運算式 或 評分設定檔中使用的欄位。
資料類型是否適用於傳入的資料? Foundry IQ 支援 實體資料模型(EDM)資料型態。 Azure SQL資料有一張mapping chart,列出等效值。 如需詳細資訊,請參閱 欄位對應和轉換。
您是否有一個欄位可做為金鑰? 此欄位必須是唯一識別檔的 Edm.String。 針對關聯式資料,其可能會對應至主索引鍵。 針對 Blob,可能是
metadata-storage-path。 如果欄位值包含空格或虛線,您必須在 [進階選項] 底下的 [建立索引子] 步驟中設定 [Base-64 編碼索引鍵] 選項,以隱藏這些字元的驗證檢查。設定屬性以判斷該欄位在索引中的使用方式。
請花點時間進行此步驟,因為屬性會決定索引中欄位的實體運算式。 如果您想稍後變更屬性,即使是以程式設計方式,您幾乎總是需要捨棄並重建索引。 核心屬性如Searchable和Retrievable對存儲的影響幾乎可以忽略不計。 啟用篩選器和使用建議工具會增加storage需求。
可搜尋功能 可啟用全文搜尋功能。 自由格式查詢或查詢表示式中使用的每個欄位都必須具有此屬性。 針對您標示為 Searchable 的每個欄位,系統會建立反向索引。
Retrievable 會回傳搜尋結果中的該欄位。 提供內容來搜尋結果的每個欄位都必須有這個屬性。 設定這個欄位對索引大小的影響很小。
Filterable 可讓該欄位在篩選運算式中被參考。 用於 $filter 運算式的每個欄位都必須有這個屬性。 篩選條件運算式會用來進行精準比對。 由於文字字串保持完整,需要更多的儲存空間來配合逐字內容。
Facetable 讓這個欄位可以進行分面式導覽。 只有同時標示為 Filterable 的欄位才可以標示為 Facetable。
「可排序」 允許將欄位用於排序。 用於 $Orderby 運算式的每個欄位都必須有這個屬性。
您需要語彙分析嗎? 對於 可搜尋的 Edm.String 欄位,如果您想要語言增強的索引和查詢,您可以設定 分析器 。
預設為 標準盧辛語,但若想使用Microsoft的分析器進行進階詞彙處理,例如解析不規則名詞與動詞形式,可選擇Microsoft 英文。 Azure 入口網站只能指定語言分析器。 如果您想要使用自訂分析器或非語言分析器,例如關鍵字或型樣,則必須以程式設計方式建立它。 如需詳細資訊,請參閱 新增語言分析器。
您需要自動完成或建議結果形式的預先輸入功能嗎? 選取 建議器 核取方塊,以在選取的欄位上啟用 即時查詢建議和自動完成。 建議者會增加索引中代幣化詞彙的數量,因此會消耗更多storage。
設定索引器
精靈的最後一頁會收集索引子設定的使用者輸入。 您可以 指定排程 ,並設定因資料來源類型而異的其他選項。
在內部,精靈會設定下列定義,這些定義在建立索引子之前不會顯示在索引子中。
試試巫師
了解 匯入資料 精靈的優點與限制,最好的方法是親自操作它。 以下快速入門是基於該精靈。