在 Foundry IQ 中搜尋索引(Azure AI 搜尋服務)

Note

Foundry IQ(Azure AI 搜尋服務)提供直接的索引與查詢 API,並搭配高階知識來源與知識庫 API 用於受控檢索。 使用 Azure 入口網站、REST API 或 Azure SDK 來設定這些功能,或將代理連線到 Microsoft Foundry 入口網站 中的知識庫。

在 Foundry IQ(Azure AI 搜尋服務)中,搜尋索引是 Foundry IQ 服務中可供搜尋的內容,可供本機搜尋引擎使用,以進行索引、代理式擷取、全文搜尋、向量搜尋、混合式搜尋及篩選查詢。 索引是由儲存在 Foundry IQ 服務中的結構定義,資料擷取則是第二步。 索引內容會儲存在您的 Foundry IQ 服務中,並與您的主要外部資料儲存體分開;這是實現現代搜尋應用程式所需毫秒級回應時間的必要條件。 除了遠端代理式擷取和索引器驅動的索引案例之外,Foundry IQ 服務絕不會連線到或查詢您的外部來源資料。

本文涵蓋建立和管理搜尋索引的重要概念,包括:

  • 內容 (銀箭和架構)
  • 實體資料結構
  • 基本作業

Tip

快速摘要:

  • 索引儲存你可搜尋的內容
  • 模式定義欄位及其行為
  • 文件是可單獨搜尋的項目(類似資料庫中的列)
  • 前往建立索引 →

搜尋索引的結構描述

在 Foundry IQ 中,索引包含 搜尋文件。 就概念而言,文件是索引中可搜尋資料的單一單位。 例如,零售商可能會有每個產品的文件、大學可能會有每個班級的文件、旅遊網站可能會有每個旅館和目的地的文件等等。 對應這些概念到更熟悉的資料庫同等項目:「搜尋索引」相當於「資料表」,而「文件」大致上相當於資料表中的「資料列」。

這裡有一個索引結構的範例。

{
  "name": "name_of_index, unique across the service",
  "description" : "Health plan coverage for standard and premium plans for Northwind and Contoso employees.",
  "fields": [
    {
      "name": "name_of_field",
      "type": "Edm.String | Collection(Edm.String) | Collection(Edm.Single) | Edm.Int32 | Edm.Int64 | Edm.Double | Edm.Boolean | Edm.DateTimeOffset | Edm.GeographyPoint",
      "searchable": true (default where applicable) | false (only Edm.String and Collection(Edm.String) fields can be searchable),
      "filterable": true (default) | false,
      "sortable": true (default where applicable) | false (Collection(Edm.String) fields cannot be sortable),
      "facetable": true (default where applicable) | false (Edm.GeographyPoint fields cannot be facetable),
      "key": true (only Edm.String fields can be keys) | false (default where applicable),
      "retrievable": true (default) | false,
      "analyzer": "name_of_analyzer_for_search_and_indexing" (only if 'searchAnalyzer' and 'indexAnalyzer' are not set),
      "searchAnalyzer": "name_of_search_analyzer" (only if 'indexAnalyzer' is set and 'analyzer' is not set),
      "indexAnalyzer": "name_of_indexing_analyzer" (only if 'searchAnalyzer' is set and 'analyzer' is not set),
      "normalizer":  "name_of_normalizer" (applies to fields that are filterable),
      "synonymMaps": "name_of_synonym_map" (optional, only one synonym map per field is currently supported),
      "dimensions": "number of dimensions used by an embedding models" (applies to vector fields of type Collection(Edm.Single)),
      "vectorSearchProfile": "name_of_vector_profile" (indexes can have many configurations but a field can use just one)
    }
  ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "analyzers":(optional)[ ... ],
  "charFilters":(optional)[ ... ],
  "tokenizers":(optional)[ ... ],
  "tokenFilters":(optional)[ ... ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "encryptionKey":(optional){ },
  "semantic":(optional){ },
  "vectorSearch":(optional){ }
}

fields 集合通常是最大的部分。 每個欄位都有名稱、 資料型態和屬性,決定查詢時的使用情況。

為保持版面簡潔,其他元素已經折疊,不過詳細資料可參考下列連結:

  • 建議器 支援如自動完成等隨打即搜查詢。
  • scoringProfiles 用於相關性調整。
  • 分析器 用於根據語言規則或分析器支援的其他特性,將字串處理成詞元。
  • corsOptions,或稱跨來源遠端指令碼(CORS),用於從不同網域發出請求的應用程式。
  • encryptionKey 會對索引中敏感內容進行雙重加密。
  • semantic 會設定全文搜尋與混合搜尋中的語意重新排序。
  • vectorSearch 負責配置向量欄位與查詢。

欄位定義

搜尋文件由fields建立索引請求正文中的集合定義。 您需要文件識別 (索引鍵)的欄位、儲存可搜尋文字的欄位,以及支援篩選、Facet 和排序的欄位。 您可能也需要不會向使用者顯示的資料欄位。 例如,你可能需要在 評分檔案 中設置利潤率欄位或行銷促銷,以提升搜尋分數。

如果傳入資料原本是階層式資料,您可以在索引內將其表示為複雜類型 (complex type),以用於巢狀結構。 範例資料集 Hotels,利用一個包含多個子欄位的地址(Address)與每家飯店一對一關係,以及一個房間複合體集合(Rooms complex)來展示複雜類型,該集合中每個飯店對應多個房間。

欄位屬性

欄位屬性會決定欄位的使用方式,例如,是否將它用於全文檢索搜尋、多面向導覽、排序作業等。

  • 弦域通常標記為 searchable 和 retrievable。
  • 用於縮小或排序搜尋結果的欄位標記為 sortable、 filterable和 facetable。
Attribute Description
可搜尋 可全文檢索或向量搜尋。 文字欄位受限於語彙分析,例如編製索引期間的斷詞功能。 如需詳細資訊,請參閱全文檢索搜尋如何運作。
filterable 在 $filter 查詢中加以參考。 類型 Edm.String 或 Collection(Edm.String) 的可篩選欄位不會執行斷詞功能,因此,只會針對完全相符的項目進行比較。 給定「sunny day」這個字串, $filter=f eq 'sunny' 找不到匹配,但 $filter=f eq 'sunny day' 成功了。
sortable 預設系統會依搜尋分數排序,但你可以根據文件中的欄位設定明確排序。 欄位 Collection(Edm.String) 是無法排序的。
可面向化 通常用來呈現搜尋結果,其中包含依類別的叫用次數 (例如,特定城市中的旅館)。 此選項無法與類型 Edm.GeographyPoint的欄位搭配使用。 類型為 Edm.String 且可篩選、可排序或可 Facet 的欄位最長可為 32 KB。 如需詳細資訊,請參閱建立索引 (REST API)。
Key 索引內文件的唯一識別碼。 您必須只選擇一個欄位作為索引鍵欄位,而它的類型必須是 Edm.String。
可擷取 表示該欄位是否能作為文件的一部分在搜尋結果中回傳。 將此屬性設為 false 時,該欄位會從傳回的文件欄位中排除,且無法透過 $select 要求傳回該欄位。 此設定不阻止依賴索引內容或結構設定的搜尋功能內部使用。 根據功能配置,欄位內容或衍生資訊仍可對輸出產生貢獻,如高亮、分面、排名、篩選、排序或其他查詢處理。 針對 true for key 。

雖然您可以隨時新增欄位,但現有的欄位定義會在索引的存留期間加以鎖定。 因此,開發者通常會使用 Azure 入口網站來建立簡單的索引、測試想法,或是利用 Azure 入口網站頁面查詢設定。 如果您遵循以程式碼為基礎的方法,則整個索引設計中頻繁的反覆動作就會更有效率,如此便能讓您輕鬆地重建索引。

Note

您用來建置索引的 API 具有不同的預設行為。 對於 REST API,大多數屬性預設是啟用的(例如,字串欄位的 searchable 和 retrievable 是正確的),通常只有想關閉屬性時才需要設定。 而 .NET SDK 則相反。 對於你沒有明確設定的屬性,預設會關閉對應的搜尋行為,除非你特別啟用。

敏感領域的最佳實務

若欄位包含敏感或機密資訊:

  • 只啟用應用程式所需的欄位屬性,例如 searchable、 filterable或 facetable。
  • 明確設定欄位屬性,而非依賴 API 或 SDK 預設值。
  • 不要以為從文件結果中排除欄位就能阻止所有查詢功能或回應格式的揭露。
  • 在將敏感資訊儲存在搜尋索引前,請先檢視應用程式及功能需求。

實體結構和大小

在 Foundry IQ 中,索引的實體結構主要是內部實作。 您可以存取其架構、載入及查詢其內容、監視其大小,以及管理其容量。 然而,Microsoft 會管理與您的 Foundry IQ 服務所儲存的基礎架構及實體資料結構。

你可以在Azure入口網站的 Search 管理> 索引頁面上監控索引大小。 或者,您可以對您的 Foundry IQ 服務發出 GET INDEX 要求,或提出 Service Statistics 要求,以查看儲存體大小的值。

Note

如果你正在積極 刪除內容,索引儲存空間和大小會每隔幾分鐘更新一次。 以背景程序來執行刪除。 預期指標更新會有些延遲。

索引的大小取決於:

  • 文件的數量和組成。
  • 個別欄位的屬性:「可擷取」不會讓您的索引膨脹,但「可篩選」、「可排序」和「可多面向」則會因為儲存非權杖化文字而佔用更多儲存空間。
  • 索引配置。 具體來說,不論您是否包含建議器或專用分析器,皆是如此。 如果您使用 edgeNgram Tokenizer 來儲存字元的逐字序列 (a, ab, abc, abcd),索引的大小會比使用標準分析器時還大。

文件組合和數量取決於您選擇匯入的內容。 請記得,搜尋索引應該只包含對你的搜尋應用程式有用的內容。 如果源數據包含二進位欄位字段,除非您使用 AI 擴充來破解和分析內容以建立文字可搜尋的資訊,否則請省略這些欄位。

欄位屬性會決定行為。 為了支援這些行為,索引編製程序會建立必要的資料結構。 例如,對於類型 Edm.String為 的欄位,「可搜尋」會叫用 全文搜索,以掃描標記化字詞的反向索引。 相反地,"filterable" 或 "sortable" 屬性支援反覆運算未修改的字串。

建議字元件 是支援預先輸入或自動完成查詢的結構。 當您包含建議工具時,索引編製程式會建立逐字字元比對所需的數據結構。 建議工具會在欄位層級實作,因此請只選擇適合預先輸入的欄位。

基本作業和互動

現在您已更了解索引是什麼,本節將介紹索引運行時間作業,包括聯機到並保護單一索引。

Note

沒有移動或複製索引的入口或 API 支援。 通常,您可以將應用程式部署指向另一個 Foundry IQ 服務(使用相同索引名稱),或修改名稱,在您目前的 Foundry IQ 服務上建立一份副本,然後再建置。

索引隔離

在 Foundry IQ 中,你一次處理一個索引。 所有索引相關的作業都會以單一索引為目標。 在編製索引或查詢方面,不存在相關索引或獨立索引聯結的概念。

持續可用

索引會在第一份文件編製索引后立即可供查詢使用,但在編製所有文件索引之前,它不會完全運作。 在內部,索引會分配到分區中,並在副本上執行。 實體索引是由內部管理。 您管理邏輯索引。

索引會持續可用,且無法暫停或離線。 由於它被設計為長時間運行,因此即時更新內容並對索引本身進行新增。 如果要求與檔更新一致,查詢可能會暫時傳回不完整的結果。

文件作業 (例如重新整理或刪除) 以及不影響目前索引現有結構或完整性的修改 (例如新增欄位),將保有查詢持續性。 結構更新,例如變更現有的欄位,通常會在開發環境中使用卸除和重建工作流程來管理,或在生產服務上建立新版本的索引。

若要避免 索引重建,某些客戶會建立與舊版並存的新欄位,藉此對欄位進行小變更。 但經過一段時間後,這種做法會導致過時欄位和過時的自訂分析器定義產生孤立的內容,特別是在複寫成本高昂的實際執行索引中。 您可以在索引生命週期管理期間規劃的索引更新期間解決這些問題。

端點連線和安全性

所有索引編製和查詢要求都會以索引為目標。 端點通常是下列其中一項:

Endpoint 連線和存取控制
<your-service>.search.windows.net/indexes 以索引集合為目標。 在建立、列出或刪除索引時使用。 這些作業需要系統管理員許可權,而且可透過系統管理員 API 金鑰 或 搜尋參與者角色取得。
<your-service>.search.windows.net/indexes/<your-index>/docs 以單一索引的文件集合為目標。 在查詢索引或資料重新整理時使用。 對於查詢,讀取許可權就已足夠,而且可透過查詢 API 金鑰或資料讀取器角色來取得。 資料重新整理需要管理員權限。

如何連接索引

  1. 先從 Azure 入口網站和您的 Foundry IQ 服務儀表板開始。

  2. 請嘗試使用其他用戶端以程式設計方式存取。 我們建議進行第一個步驟的快速入門:

後續步驟

你可以透過 Foundry IQ 幾乎任何範例或逐步解說,獲得親手建立索引的實作經驗。 若是初學者,您可以選擇目錄中的任何快速入門。

但您也會需要熟悉使用資料載入索引的方法。 索引定義和資料匯入策略會在同一時間定義。 下列文章提供有關建立和載入索引的詳細資訊。