重要
提供非英文翻譯僅為方便。 請參閱 EN-US 本文件的最終版本 以獲得最終版本。
什麼是透明通知?
AI 系統不僅包含技術本身,還包括使用者、受影響者,以及其部署環境。 打造一套符合預期目的的系統,需要了解科技的運作方式、其能力與限制,以及如何達到最佳效能。 Microsoft 的透明度備註旨在幫助您了解我們的 AI 技術如何運作、系統擁有者可能做出的選擇如何影響系統效能與行為,以及思考整個系統的重要性,包括技術、人員與環境。 你可以在開發或部署自己的系統時使用 Transparency Notes,或與將使用或受系統影響的人分享。
Microsoft 的透明度備註是 Microsoft 將 AI 原則付諸實踐的更廣泛努力的一部分。 欲了解更多,請參閱 Microsoft AI 原則。
Foundry IQ(Azure AI 搜尋服務)的基礎知識
簡介
Foundry IQ 為開發者提供工具、API 與 SDK,讓他們能在網頁、行動裝置及企業應用程式中,針對私密且異質的內容打造豐富的搜尋體驗。 搜尋是任何向使用者呈現資料的應用程式的基礎。 常見情境包括目錄或文件搜尋、線上零售商店,或對專有內容進行資料探索。
可搜尋的資料可以是文字或向量,這些資料可以直接從資料來源未經修改地獲取,或經由 AI 強化來提升整體搜尋體驗。 開發者可將整數資料轉換為數值表示(稱為向量),方法是呼叫外部機器學習模型(稱為嵌入模型)。 索引器可選擇性地包含支援強大資料豐富功能的技能組合,透過 Foundry 工具中的 Azure 語言功能,如具名實體辨識 (NER)和個人識別資訊 (PII)偵測,和 Foundry 工具中的 Azure 視覺功能,包括光學字元辨識 (OCR)以及圖像分析。
請參閱以下分頁,了解 Foundry IQ 如何透過 Foundry 工具或其他 AI 系統,來更深入了解客戶內容的意圖、語意與隱含結構,從而提升搜尋體驗。
AI 豐富 化是指將 Foundry Tools 的機器學習模型應用於那些原始內容本身不易被搜尋的部分。 透過豐富化、分析與推論,創造出可搜尋的內容和結構,這些內容和結構以前並不存在。
AI 強化是 Foundry IQ 索引管線的可選擴充,連接與客戶 Foundry IQ 服務相同區域內的 Foundry 工具。 濃縮管線擁有與典型索引器相同的核心組件(索引器、資料來源、索引器),並具備指定原子濃縮步驟的技能組。 技能組合可以透過基於 Foundry Tools API 內建的技能組合,例如 願景 與 語言,或是執行你提供的外部程式碼的 自訂技能 。
向量搜尋是一種資訊檢索方法,文件與查詢以向量形式以索引表示,而非純文字。 在向量搜尋中,由 Foundry IQ 外部託管的機器學習模型,會產生來源輸入的向量表示,這些輸入可以是文字、圖片、音訊或影片內容。 這種數學化且正規化的內容表示方式稱為向量嵌入,為搜尋情境提供了通用的基礎。
當所有內容都是向量時,查詢可以在向量空間中找到匹配,即使相關的原始內容屬於不同的媒體類型,例如圖片與文字,或是與查詢不同的語言。 搜尋引擎會掃描索引,尋找與查詢中向量最相似、最接近的向量內容。 以數學向量表示法配對而非關鍵字,會讓人們更有可能找到語意相同但文本上不同的匹配,例如「car」和「auto」。 這更詳細介紹了向量嵌入以及相似度演算法的運作方式。
關鍵術語
| 術語 | Definition |
|---|---|
| 向量嵌入 | 一種高度優化的方式,用以表示由機器學習模型從影像、音訊、影片或文字中提取的意義與理解資料。 內容在索引和查詢時都會轉換成向量嵌入。 向量搜尋相當於擷取查詢中提供的嵌入,並在索引中尋找最相似的嵌入。 結果通常會依相似度排序。 |
| 嵌入空間 | 語料庫中單一欄位的所有向量都佔據相同的嵌入空間,該空間中相似的項目彼此靠近,不同項目則相距較遠。 嵌入空間的更高維度能在單一向量中包含更多資訊,並大幅提升搜尋體驗,但這會帶來顯著的索引儲存空間與更高的查詢延遲代價。 |
語意排序器利用查詢的語境或語意意義來計算一個新的相關性分數,將最接近原始查詢意圖的結果推向頂端。 初始結果集可以來自結合 BM25 排名的關鍵字搜尋、 向量 搜尋,或是兩者兼具的 混合搜尋 。 它還會透過擷取結果中的逐字內容來建立並回傳「說明」,以及「重點」以引起對結果中重要內容的注意。 如果查詢具有問題特徵(「水的冰點是多少」),且結果包含具有答案特徵的文字(「水在0°C或32°F時結冰」),它也能回傳「答案」。
關鍵術語
| 術語 | Definition |
|---|---|
| 語意排名器 | 利用查詢的語境與語意意義,透過語言理解來重新排序搜尋結果,提升搜尋相關性。 |
| 語意說明文字與醒目提示 | 從文件中擷取最能總結內容的句子與片語,並在關鍵段落標示,方便掃描。 當個別內容欄位過於密集,無法完整呈現結果頁面時,摘要結果的說明很有用。 標示文字提升最相關的詞彙與片語,讓使用者能快速判斷為何配對被視為相關。 |
| 語意答案 | 提供從語意查詢傳回的選用額外子結構。 它直接回答看起來像問題的查詢。 它要求文件中包含具有答案特徵的文字。 |
查詢重寫會創造合成查詢,這些查詢是根據實際客戶輸入而人工生成的,以提升 BM25 排名、向量搜尋或混合搜尋的召回率(從可用文件總數中擷取的相關文件比例)。 原始查詢會與合成查詢結合,以從搜尋引擎提供最佳召回率。
GenAI 提示技能是 Foundry IQ 技能目錄的一部分,讓客戶能根據其數據,透過 AI 生成的內容強化搜尋索引。 透過利用客戶組織自身的數據與偏好,這項技能有助於產出符合其特定需求的量身摘要、答案或洞察。
這表示當終端用戶透過 Foundry IQ 搜尋客戶內容時,AI 生成的內容能提供更具資訊性且具情境感知的結果,讓使用者更容易找到所需資訊。
關鍵術語
| 術語 | Definition |
|---|---|
| 技能 | Foundry IQ 技能是 Foundry IQ 強化流程中的一個模組化處理組件。 這些技能在索引過程中,對原始內容(如文字、圖片或文件)進行 AI 驅動的轉換,能從非結構化資料中擷取結構化且可搜尋的資訊。 |
| 提示 | 你在 API 呼叫中傳送給服務的文字。 這些文字接著會被輸入到模型中。 例如,可以輸入以下提示: 將問題轉換成指令: 問:詢問 Constance 我們是否需要一些麵包 答:send-msg find constance 我們需要一些麵包嗎? 問:請發訊息給Greg,確認週三的安排是否準備好了。 答:Send-msg find greg 星期三都準備好了嗎? |
| 搜尋索引 | 在 Foundry IQ 中,索引是存放可搜尋內容的資料結構,定義其儲存方式,並控制服務在你執行查詢時如何解讀該內容。 |
代理式檢索幫助應用程式找到使用者問題的基礎資料。 根據設定,它可以使用模型來規劃搜尋、針對所選內容執行搜尋,並合併結果。 應用程式可以直接使用回傳的內容,或提供給語言模型以產生答案。
Microsoft Retriever 1 是一款專門的 Foundry IQ 託管擷取模型。 它會檢查問題與檢索出的證據,並可要求後續搜尋或完成檢索。 它不是一種通用的答案生成模型。
應用程式可以使用 Microsoft Retriever 1 搜尋單一索引,而無需建立知識庫,或為支援的知識庫擷取情境進行設定。 針對 Microsoft Retriever 1 執行的檢索工作,您不需要部署獨立的語言模型。 答案綜合需要一個適當且獨立配置的模型。
Note
Microsoft Retriever 1 與直接代理式索引搜尋是此處針對 API 版本2026-11-01-preview所描述的預覽功能。
代理檢索關鍵詞
| 術語 | Definition |
|---|---|
| 代理式擷取 | 一種可利用模型驅動規劃與多重搜尋,尋找與問題相關資訊的檢索流程。 |
| 基礎數據 | 擷取出的內容,應用程式可用其作為答案的佐證。 |
| 知識來源 | 知識庫可搜尋的已設定內容來源。 |
| 知識庫 | 一個資源,用於組織知識來源與設定,用於檢索,並在經過設定時進行答案生成。 |
| 語意意圖 | 一個搜尋請求,描述從知識庫中要擷取的資訊。 |
| 檢索推理努力 | 一個影響檢索規劃及執行工作量的知識庫設定。 行為取決於已設定的模型與來源。 |
| 答案合成 | 這是一個獨立的模型驅動步驟,根據使用者的問題與擷取的內容產生自然語言答案。 |
Foundry IQ 的知識圖譜描述了三種互補的方式來組織內容以便檢索:
-
實體 支援對文件集合進行結構化檢索。
- 本體論定義了相關的實體類型、關係與屬性。 語言模型利用這種本體論從原始文本中擷取結構化資訊。 例如,本體論可以表示某個組織擁有某項產品,且設有一個據點。 提供本體論或使用配套工具來協助建立與完善本體論。
-
主題會將預先準備好的文字段落整理成相關群組。
- 圖譜演算法利用段落嵌入之間的相似性來建立主題階層。
- 可選的語言模型會使用代表性段落來產生標籤,並依配置產生描述。
-
網站地圖 提供現有主題階層的導覽地圖,將廣泛的主題與較窄的子主題連結起來。
- Foundry IQ 應用程式可以利用這些結構進行探索。
Note
知識圖譜是此處所述的 API 版本 2026-11-01-preview 的預覽功能。
知識圖譜關鍵詞彙
| 期間 | Definition |
|---|---|
| 內嵌 | 由 AI 模型產生的內容數值表示,用於比較意義上的相似性。 |
| Topic | 一組相關段落。 |
| 主題階層 | 廣泛的主題群組與較細分的子群組,並附有連結至其成員文章。 |
| 網站地圖 | 現有主題階層的導覽地圖。 |
| 本體 | 定義圖應代表的實體類型、關係與屬性的結構。 |
| 三元組 | 由主體、關係與客體組成的結構化陳述,例如一個組織擁有某項產品。 |
| 圖查詢 | 一個結構化請求,用於匹配關係、套用條件或在圖上計算結果。 |
| Provenance | 將擷取到的段落或萃取出的關聯連結至其來源的資訊。 |
能力
系統行為
在 Foundry IQ 中,用於 AI 強化的數項內建技能會運用 Foundry Tools。 請參考下方連結的每個內建技能的透明度說明,了解使用技能時的考量:
- 關鍵詞擷取技能: 語言 - 關鍵詞擷取
- 語言偵測技能: 語言-語言偵測
- 實體連結技能: 語言 - 實體連結
- 實體辨識技能: 語言 - 命名實體辨識(NER)
- PII 偵測技能:語言 - PII 偵測
- 情感技能: 語言 - 情感分析
- 影像分析技能: 視覺 - 影像分析
- OCR 技能: 視覺 - OCR
- 文件排版技能: 文件智慧
- 內容理解技能: 內容理解
請參閱各項技能的文件,了解其能力、限制、表現、評估,以及整合與負責任使用的方法。 請注意,結合使用這些技能可能會導致複合效應(例如使用OCR時產生的錯誤,在使用關鍵詞萃取時仍會持續存在)。
使用案例
範例使用案例
由於 Foundry IQ 是一款全文搜尋解決方案,AI 豐富化的目的在於提升非結構化內容的搜尋效能。 以下是一些由內建技能支持的內容豐富情境範例:
- 翻譯 與 語言偵測 支援多語言搜尋。
- 實體識別可從大量文字中擷取人物、地點及其他實體。
- 關鍵詞彙擷取 會識別並輸出重要詞彙。
- OCR 可辨識二進位檔案中的印刷與手寫文字。
- 影像分析 描述影像內容,並將描述輸出為可搜尋的文字欄位。
- 整合式向量化是一項功能,會呼叫 Foundry 嵌入模型將資料向量化,並將嵌入向量儲存在 Foundry IQ 中,以供相似性搜尋使用。
- 內容理解 會以版面格式擷取文字,並將其對應到可搜尋的欄位。 它也會從文件中擷取圖形(包括圖片、圖表、示意圖等)。 可選擇性地,它能將文字拆分成語意區塊,並利用大型語言模型輸出圖表的文字描述。
系統行為
在向量搜尋中,搜尋引擎會在索引的嵌入空間中尋找接近查詢向量的向量。 這種技術稱為 最近鄰搜尋。 這也有助於量化物品間的相似度或距離。 高度向量相似度表示原始資料也相似。 Foundry IQ 支援的兩種向量搜尋演算法對此問題採取了不同的處理方式,在延遲、吞吐量、召回率與記憶體等特性上做出權衡。
要找到真正的「k」個最近鄰集合,需要將輸入向量與資料集中的所有向量進行全面比較。 雖然每次向量相似度計算都相對快速,但跨大規模資料集進行這些詳盡比較,計算成本高且速度緩慢,因為所需的比較數量龐大。 此外,每個向量的維度越高,計算過程就越複雜且速度越慢。
為因應此挑戰,系統會使用近似最近鄰 (ANN) 搜尋方法,以召回率換取速度。 這些方法能有效找到一小組最可能與查詢向量相似的候選向量,從而減少向量比較的總數。 Foundry IQ 採用分層可導航小世界(HNSW)演算法,將高維資料點組織成機率層級圖結構,使得快速的相似性搜尋得以實現,同時允許在搜尋準確度與計算成本之間做出可調整的權衡。
Foundry IQ 也支援多種相似度指標,用以判定每個向量結果的最近鄰與分數,這些指標包括餘弦、歐幾里得(亦稱「l2 範數」)以及「點積」。餘弦計算兩個向量之間的夾角。 歐幾里得計算兩個向量之間的歐幾里得距離,即兩向量差的 l2-範數。 點積會受到兩個向量的大小及其之間的角度影響。 對於正規化嵌入空間,點積等價於餘弦相似度,但效率更高。
使用案例
範例使用案例
在許多情境中,向量搜尋非常有用,但這些限制僅受限於產生向量嵌入所用模型的能力。 以下是向量搜尋的一些一般應用情境:
- 語意搜尋:透過使用模型從文本中提取語意理解,例如使用 Azure OpenAI 服務 嵌入模型。
- 跨不同資料類型搜尋(多模態):編碼來自圖片、文字、音訊和影片或混合的內容,並對所有資料進行一次搜尋。
- 多語言搜尋:使用多語言嵌入模型以多種語言呈現您的文件,以尋找支援語言的結果。
- 混合搜尋:向量搜尋是在欄位層級實作,這表示您可以建立包含向量欄位與可搜尋文字欄位的查詢。 查詢會平行執行,結果會合併成單一回應。 帶有語意排序的混合搜尋結果已被證明能提供最佳的質性結果。
- 篩選向量搜尋:查詢可以包含向量查詢和篩選表達式。 套用於其他資料型態的篩選器,有助於根據其他條件納入或排除文件。
- 向量資料庫:此純向量資料庫用於長期記憶或大型語言模型(LLM)的外部知識庫。 例如,在 Azure Machine Learning 的提示流程中,使用 Foundry IQ 作為向量索引,用於檢索式增強生成(RAG)應用程式。
選擇使用情境時的考量
您選擇用來產生向量嵌入的特定模型,可能會有相關考量與疑慮。 每個模型可能都有其偏見與公平性的問題,應在應用前進行評估。 Foundry IQ 並未提供任何模型,作為服務的一部分來向量化內容。 請參閱 Azure OpenAI 服務 透明度說明 以了解這些考量的範例。 其他第三方或開源軟體模型也有自己的考量需要檢視。
系統行為
對第一層檢索步驟的結果進行排序是一個高度耗費資源的過程。 為了在查詢操作預期延遲內完成排序器的處理,只有檢索引擎的前 50 個結果作為輸入送交語意排序器。 若過長,會先將 50 個結果送入摘要步驟,從每個結果中擷取最相關內容,然後再執行語意排序器。
在摘要階段,檢索文件首先會經過一個準備過程,將不同的文件輸入串接成一條長字串。 若字串過長,則會進行修剪,特別強調保留加入 語意配置欄位中的內容。 字串準備好後,會通過機器閱讀理解與語言表示模型,以判斷哪些句子和片語相對於查詢內容能提供最佳的摘要。 此階段從字串中擷取內容,將傳遞至語意排序階段,並可選擇性地輸出語 意說明 或語 意答案。
最後一步語意排名,判斷前一步擷取內容與使用者查詢的相關性,並輸出語意排名分數,範圍從4(高度相關)到0(無關)。 此步驟基於查詢文本與摘要文本,且計算比檢索層更為複雜。
使用案例
範例使用案例
語意排序器可以在多種情境中使用。 系統預期的使用情境包括:
- 檢索增強生成(RAG):語意排名器讓您能將生成式 AI 應用的回應置於符合您定義相關分數門檻的相關搜尋結果中。 例如,Azure OpenAI 服務 的 on your data 功能會使用 Foundry IQ 來使用您的資料增強 Azure OpenAI 模型。 你可以在此服務中使用語意排名器,提升輸入到 Azure OpenAI 模型的資訊相關性。
- 內容搜尋:語意排名器允許您透過分析文字與元資料,搜尋資料中相關內容。 例如,在 learn.microsoft.com 網站上,搜尋功能會使用語意排名器來提升軟體開發者搜尋 Microsoft 技術文件的相關性。
- 電子商務搜尋:語意排名工具讓電子商務企業能根據語意相關性提供相關產品結果,提升搜尋體驗。 例如,線上零售商會利用語意排名器優化電子商務體驗,提供相關的搜尋結果給線上購物者。
- 問答:Foundry IQ 讓組織能根據資料庫中可用的資訊回答問題,為使用者提供對話式的體驗。 例如,製造商可以使用語意排名器來增強聊天機器人可用的資訊。 工程師可以利用這個聊天機器人提問,並取得與查詢相關的高度相關的內部文件,並在所取得的文件中即時獲得答案。
選擇使用情境時的考量
我們鼓勵客戶在創新解決方案或應用中使用語意排名器。 不過,在選擇使用情境時,以下是一些考量:
- 敏感資訊:啟用語意排名的機器學習模型會處理搜尋查詢中擷取的資料,包括個人資料和財務資訊等敏感資訊。 在為此類使用情境實作語意排名器前,請考慮任何隱私與安全影響。
- 偏見與公平性 :語意排名器由深度學習模型驅動。 這些深度學習模型是透過使用公開內容來訓練的。 客戶資料由語意排名模型評分。 選取使用案例時,請評估語意排名器的輸出,尤其是對公平性與平等性有影響的使用案例,例如雇用與招募。
- 法規遵循:某些產業,如醫療保健與金融,受到高度監管,可能對人工智慧與機器學習的使用有所限制。 在使用語意排名器之前,請確保解決方案符合相關法規與指引。
系統行為
原始查詢會傳送至由 Foundry IQ 託管的 微調小型語言模型(SLM)。 此模型是透過使用公開內容訓練的。 SLM 將原始查詢轉換成一組綜合查詢。 這些合成查詢在語意上接近原始查詢的意圖,但包含不同的詞彙組合以提升搜尋引擎的記憶性。
合成查詢會與原始查詢合併,並送入搜尋引擎。 當執行 BM25 排名時,合成查詢的關鍵詞會與原始查詢合併。 當它執行 向量搜尋時,原始查詢會與合成查詢串接,然後再進行 向量嵌入 步驟。
使用案例
範例使用案例
查詢重寫可以在多種情境下使用。 查詢重寫需要使用 語意排名器。
- 與你的資料進行聊天互動:查詢重寫讓你能將生成式 AI 應用的回應置於符合你設定的相關性分數門檻的相關搜尋結果中。 例如,Azure OpenAI 服務 On Your Data 使用 Foundry IQ 來補充 Azure OpenAI 模型並加入您的資料。 你可以在此服務中使用查詢重寫,提升輸入至 Azure OpenAI 模型的資訊結果的相關性。
- 對話式問答(QnA):Foundry IQ 讓組織能根據資料庫中現有資訊回答問題,為使用者提供對話式體驗。 例如,製造商可以使用語意排名器來增強聊天機器人可用的資訊。 工程師可以利用這個聊天機器人提問,並取得與查詢相關的高度相關的內部文件,並在所取得的文件中即時獲得答案。
選擇使用情境時的考量
我們鼓勵客戶在創新解決方案或應用程式中使用查詢重寫。 不過,在選擇使用情境時,以下是一些考量:
- 敏感資訊與個人識別資訊(PII):微調的 SLM——可重寫查詢——會處理可能包含敏感資訊的搜尋查詢。 實作查詢重寫之前,請考慮對隱私和安全可能造成的任何影響。
- 刪除個人資訊以減少無意識偏見。 例如,在公司履歷審查過程中,可能會希望封鎖候選人的姓名、地址或電話號碼,以減少搜尋過程中無意識的性別或其他偏見。
- 法律與法規考量。 組織在使用 Foundry IQ 時,需要評估可能的特定法律與監管義務,而這些 IQ 未必適用於所有產業或情境。 限制可能依地區或地方法規要求而異。 此外,Foundry IQ 並非設計用於適用服務條款及相關行為守則所禁止的方式,亦不得以相關方式使用。
GenAI 提示技能允許客戶將其文件內容、資料來源中的資料,以及自訂提示,傳送給他們擁有的語言模型,該模型託管於 Microsoft Foundry。 語言模型處理輸入並回傳豐富內容,這些內容會與原始文件內容一併匯入搜尋索引。 此流程可依據客戶定義標準,透過 AI 生成摘要、圖片說明及實體擷取等功能,增強搜尋索引。
以下範例展示了生成式AI提示技能的運作方式。
零樣本工單摘要
目標:讓客服人員在幾秒內快速瀏覽多頁的電子郵件串。
運作方式:
- 在編制索引期間,每個冗長的票證交談都會分成邏輯區段 (初始要求、後續問題、診斷記錄等)。
- 對於每個段落,語言模型被指示「用三個簡潔的句子總結此段」。
- 最終產生的摘要在檢索過程中取代原始文本,因此代理人及下游的RAG管線只能看到精煉的本質。
為什麼有幫助:簡潔且細分層級的摘要能減少提示長度,加速回應產生,並幫助客服專注於客戶的核心問題。
少樣本實體擷取
目標:支援「顯示 Product X 因錯誤 500 而當機的所有票證」這類查詢。
運作原理
- 完整票證文字會與一個已完成的範例一起傳送至技能,該範例會顯示所需的輸出格式 (主要實體清單,例如產品名稱、錯誤碼、作業系統和嚴重性)。
- 模型會擷取所有出現的產品、錯誤代碼、平台和嚴重性。
- 這個結構化清單會和文件一起儲存,能夠即時篩選出顯示,例如, iOS 上所有高嚴重性當機事件。
為什麼這麼做:預先計算實體能將不受限格式的客戶訊息轉化為可過濾的資料,讓客服領導能發現模式並優先修正,無需人工解析資料。
單次工單路由分類
目標:自動將每個票證路由到正確的佇列。
運作方式:
- 每個工單都會以一個範例來分析,列出五個支援類別——計費、技術問題、帳戶存取、功能請求及一般回饋——並附有一個參考範例(「範例工單 → 計費」)。
- 模型根據上述五個支援類別,為每個進入 Foundry IQ 系統作為輸入的工單分配一個標籤。
- 客服台系統會用這個標籤把帳單查詢寄給財務專家,技術崩潰時則傳給工程師等等。
為什麼這麼做:快速且一致的標籤能減少錯誤轉送的工單,縮短解決時間,並提升顧客滿意度。
鏈式思考解決建議
目標:為客服人員提供解決問題的最佳下一步。
運作原理
- 整張工單——或其最新的客戶訊息——會被傳遞給語言模型。
- 使用者訊息在系統提示後指示模型:「內部逐步思考,但只輸出建議的下一步行動。」
- 回傳的指引可能是:「請客戶清除快取並重新安裝版本 3.2.1。」
- 客服人員可以直接複製建議,或在回應前進行修正。
為什麼有幫助:客服人員能在沒有模型私有推理鏈的情況下獲得可執行的建議,節省時間同時保持故障排除步驟簡潔且相關。 在某些情況下,客服人員不會被大量不必要的資訊淹沒。
使用案例
範例使用案例
GenAI 提示技能強化了 Foundry IQ 中的資料豐富性,有助於回應的相關性與使用者意圖與期待的一致性。 透過將 AI 生成內容整合進搜尋索引,這項技能能提供更準確且符合情境的搜尋結果。 主要應用包括:
- 生成冗長文件的簡明摘要,以促進資訊快速檢索:一家律師事務所處理龐大合約,並運用 GenAI 提示技能製作簡短摘要,突顯關鍵條款,讓律師在不必閱讀整份文件的情況下,也能輕鬆檢視重要資訊。
- 為圖片撰寫文字描述以提升搜尋性與無障礙性:一家媒體公司管理著龐大的圖片庫。 透過運用GenAI提示技能,他們為每張圖片生成描述性說明,實現數位資產管理系統內的高效搜尋與組織。
- 根據自訂標準識別並擷取文件中的特定實體或事實:研究機構分析科學論文,以提取有關化學化合物及其性質的記載。 GenAI 提示技能自動化此提取過程,建立結構化資料庫,讓研究人員能迅速存取相關資料。
- 將文件分類到明確的類別以提升組織與檢索:保險公司每天會收到各式各樣的文件。 利用 GenAI 提示技能,他們會自動將這些文件分類為理賠、保單更新和客戶回饋等類別。 這簡化了他們的文件管理流程,也讓他們在需要時更容易找到特定文件。
雖然這些是常見的應用,但這項技能具有彈性,讓客戶能依照自身需求定義提示。
選擇使用情境時的考量
值得注意的是,內容、提示詞和語言模型部署完全由客戶管理。 Foundry 支援模型部署的內容安全過濾器,客戶需負責依需求配置這些過濾器。 除了 Foundry 中可用的設定外,Foundry IQ 並不會在 GenAI 提示技能中套用額外的內容安全篩選器。
在實作生成式AI提示技能時,請考慮以下幾點:
- 實施對 AI 生成內容進行人工審核的流程,特別是在應用可能影響資訊可靠性的提示轉換時。 在全面部署前,利用 Foundry IQ 的 除錯工作階段工具 ,在範例文件上測試提示。
- 避免系統的使用或誤用可能導致個人遭受重大身體或心理傷害的情況。 例如,診斷病患或開立藥物的情境,可能造成重大傷害。 將有意義的人為審查與監督納入情境,有助於降低有害結果的風險。
- 仔細考慮所有生成式使用案例。 內容產生情境可能更容易產生非預期輸出,因此需要謹慎考量與緩解措施。
- 法律與法規考量。 組織在使用 Foundry IQ 時,需要評估可能的特定法律與監管義務,而這些 IQ 未必適用於所有產業或情境。 限制可能依地區或地方法規要求而異。 此外,Foundry IQ 並非設計用於適用服務條款及相關行為守則所禁止的方式,亦不得以相關方式使用。
系統行為
Microsoft Retriever 1 與搜尋檢索和排名流程搭配運作。 搜尋首先會利用原始索引查詢或知識庫提供的語意意圖來檢索並排序結果。 模型接著接收問題、累積的搜尋歷史,以及對檢索證據的有界視圖。 它可能會提出一個後續查詢。 搜尋會執行後續查詢。 服務限制或其他請求條件可能在模型完成前終止擷取。
行為會因入口點與配置而異:
- 直接單一索引搜尋。 Microsoft Retriever 1 可以在沒有知識庫的情況下,引導單一索引的檢索。
- 只需極少心力的知識庫 當您設定 Microsoft Retriever 1 並提供一個符合資格的意圖時,擷取可以使用有限制的 Microsoft Retriever 1 後續查詢。 在沒有 Microsoft Retriever 1 的情況下,最小版會使用提供的意圖,而不會有此迴圈。 當您提供多個意圖時,Minimal 會省略 Microsoft Retriever 1 的後續跟進。
- 搭配自動模式的知識庫 部分請求在初始搜尋後完成,無需呼叫 Microsoft Retriever 1。 符合資格的請求可以使用 Microsoft Retriever 1,並在需要進一步規劃時升級至已獨立設定的外部模型。 多個輸入的意圖會跳過 Microsoft Retriever 1,並升級至外部規劃模型。
- 外部模型規劃。 支援的外部語言模型可依配置,利用對話上下文、檢索指令及知識來源選擇來規劃知識庫檢索。
對於索引內容,檢索可依請求與設定使用關鍵字、向量或混合搜尋。 搜尋會在模型檢視前先對候選結果進行排序。 知識庫回應可以包含根據內容、參考資料及活動資訊。 直接索引搜尋會傳回文件,並在提出要求時揭露除錯資訊,其中包括子查詢和使用資訊。
代理式檢索的使用案例
以下情境說明了可能的用途:
- 為知識助理提供依據。 從政策或產品文件中擷取段落,讓應用程式能隨答案一併呈現支援來源。
- 故障排除。 使用包含產品、版本及觀察到的症狀的問題來搜尋文件。 進一步搜尋或許能找到更多證據。
- 研究與比較。 從多份文件中收集段落,供應用程式或個人比較。 例如,分析師可以檢視不同期間的報告,並核實摘要中使用的段落。
代理式檢索使用情境考量
根據內容、問題與應用程式選擇擷取路徑。 當一個索引就足夠時,直接索引搜尋可避免知識庫。 知識庫可在已設定的來源上加入協調,並可支援獨立的答案生成。 較簡單的關鍵字查詢、向量查詢或混合式查詢可能就已足夠。 請考慮使用者是否需要對話規劃、來源選擇、檢索指示或生成的答案。
對於影響重大決策的應用程式,請評估整個應用程式並提供適當的人工監督。 請考慮每個配置階段的隱私、存取、區域需求、延遲與成本。
- 合規性:確認使用 LLM 驅動的查詢規劃工具符合產業特定或區域性要求(例如資料駐留、隱私權,或醫療或金融領域的自動決策規則)。 確保適當的人為監督與控制。 考慮加入控制措施,協助開發者及時驗證、審查及/或批准行動,可能包括檢視預定任務或呼叫外部資料來源。
- 法律與監管考量:使用者在使用任何 Foundry 工具與解決方案時,需評估可能的特定法律與監管義務,這些工具未必適用於所有產業或情境。 此外,Foundry 工具或解決方案並非設計用於適用服務條款及相關行為準則中禁止的用途。
知識圖譜系統行為
受管理實體擷取利用已設定的本體論從原始文件段落中擷取實體與關聯。 預設提示指示模型使用結構的詞彙,保留關係方向與識別碼,並避免從否定語句中斷言正向關係。 這些說明並不保證萃取結果正確或完整。
自然語言圖形查詢規劃會接收使用者的問題與圖形結構上下文,並鎖定支援查詢語言子集內的唯讀查詢。 規劃或執行都可能失敗。 即使查詢成功,仍可能誤解問題,或從不完整或錯誤擷取的圖譜中取得證據。
啟用主題標註時,語言模型接收的是具代表性的樣本,而非群組中的每個段落。 標籤與選填說明僅供導覽輔助,並非所有成員內容的權威摘要。 主題分群可能無法準確反映每個段落的內容。
知識圖譜證據與參考資料
實體擷取會保留來源資訊,並將關聯連回原始區塊及父文件。 應用程式可以選擇是否包含原始內容與圖形結果。 包含這些內容有助於使用者檢視支持某結果的段落,但你可以限制回傳的數量。
圖表結果與原始來源段落使用不同的參考資料。 應用程式決定如何呈現這些證據並產生答案。 清楚區分圖表資訊與原始來源內容,讓使用者能同時檢視兩者。
對於主題,應用程式應將每個主張連結到相關段落及來源文件。 當主題沒有指定名稱時,清楚指出模型推斷出的標籤。
知識圖譜的應用案例
以下情境說明了可能的用途:
- 實體:依循相連的事實。 一份文件指出 Acme 擁有 Atlas,另一份則說 Acme 位於奧斯陸。 一個代表所有權與地點的本體論,可以支持「Atlas 的所有者位於哪裡?」這個問題。
- 主題:探索內容涵蓋範圍。 有關產品擁有權與辦公室地點的群組,可以幫助你探索一個集合涵蓋的內容。 主題群組也能引導探索客戶回饋報告中反覆出現的問題。
- 網站地圖:在階層結構中導航。 代理人可以從「Acme 營運」到「產品擁有」或「辦公室地點」,然後檢查相關段落。
使用實體處理涉及明確關係、條件或計數的任務;使用主題進行主題探索;以及使用網站地圖進行階層式導覽。 將它們與較簡單的關鍵字、向量或混合檢索方法進行比較,針對相同任務。 同時考量建置、儲存與模型成本,以及擷取延遲。 對於高風險用途,請評估整個應用程式並提供合格的人工監督。
限制
Foundry IQ 中的 AI 豐富功能利用服務的索引器與資料來源功能,呼叫 Foundry 工具執行內容豐富。 此過程中所使用的索引器及資料來源的限制將適用。 請參閱索引器與資料來源文件以獲取相關限制的更多資訊。 Foundry IQ 中 AI 強化流程所使用的各 Foundry 工具的限制也將適用。 請參閱 各服務的透明度說明 以了解這些限制。
技術限制、操作因素與射程
所有上傳至 Foundry IQ 的向量,必須透過您選擇的模型,從服務外部生成。 你有責任考量每個模型的技術限制與操作因素,以及它所建立的嵌入是否符合你的使用情境,甚至是否適合。 這包括從內容中推斷意義的推論,以及向量嵌入空間的維度。
向量化模型會建立一個嵌入空間,定義應用程式最終使用者的搜尋體驗。 如果模型與期望的使用情境不符,或產生的嵌入優化不佳,可能會對功能與效能產生負面影響。
雖然向量搜尋的許多限制來自於產生嵌入的模型,但在查詢時你還應該考慮一些額外的選項。 您可以從兩種演算法中選擇一種,以判斷向量搜尋結果的相關性:窮盡 k 最近鄰 (KNN) 或分層可導覽小世界。 窮盡 k 最近鄰 (KNN) 會對整個向量空間執行暴力式搜尋,透過計算所有資料點配對之間的距離,並尋找查詢點的精確 k 個最近鄰,找出與查詢最相似的相符項。 雖然演算法更精確,但速度可能較慢。 若低延遲是主要目標,可考慮使用階層式可導航小世界(Hierarchical Navigable Small World,HNSW)演算法。 HNSW 在高維嵌入空間中執行高效的近似最近鄰(ANN)搜尋。 更多相關資訊請參閱 向量搜尋文件 。
提升系統效能的最佳實務
- 請花時間在 A/B 測試你的應用程式,涵蓋你期望支援的不同內容和查詢類型。 找出哪種查詢體驗最適合你的需求。
- 請花時間測試包含完整輸入內容的模型,了解它在許多情況下的行為。 這些內容可能包含潛在敏感的輸入,以了解模型是否存在任何固有偏見。 Azure OpenAI 負責任 AI 概述提供了如何負責任地使用 AI 的指引。
- 請考慮在你的應用程式架構中加入Azure AI 內容安全。 它包含一個 API,用以偵測應用程式與服務中有害的使用者生成及 AI 生成文字或圖片。
評估並整合向量搜尋以供你使用。
為了確保最佳效能,請自行評估你計畫實施的解決方案,使用向量搜尋。 遵循評估流程,包括:(1) 利用部分內部利害關係人評估結果,(2) 利用 A/B 實驗向使用者推廣向量搜尋,(3) 在服務首次部署於體驗時納入關鍵績效指標(KPI)與指標監控,以及 (4) 測試並調整語意排序器配置及/或索引定義, 包括使用者介面擺放或業務流程等周邊體驗。
Microsoft 透過使用多元資料集,嚴格評估向量搜尋在延遲、回憶及相關性方面,衡量結果的速度、可擴展性與準確性。 評估的主要重點應放在選擇適合你特定使用情境的模型,了解模型的限制與偏見,並嚴格測試端到端向量搜尋的經驗。
技術限制、操作因素與射程
有時語意結果、說明文字和答案看起來可能不正確。 語意排名器所使用的模型是基於多種資料來源(包括 開放原始碼 及 Microsoft Bing 語料庫的精選資料)訓練的。 語意排名器支援 多種語言 ,並嘗試將使用者查詢與搜尋結果內容匹配。 語意排名器也是一項付費功能,且需額外付費,這在預測端到端解決方案的整體成本時應予以考量。
語意排序器最有可能在語意豐富的內容(例如文章和描述)中提升相關性。 它會尋找詞語之間的上下文與相關性,提升符合查詢內容更合理的匹配。 語言理解「尋找」內容中的摘要、說明和答案,但與 Azure OpenAI 服務 的生成模型 GPT-3.5 或 GPT-4 不同,它不會自行生成這些模型。 回應中僅包含來源文件的逐字文字,然後可在搜尋結果頁面呈現,提供更有效率的搜尋體驗。
目前使用最先進的預訓練模型進行摘要與排名。 為了維持使用者期望的搜尋快速效能,語意摘要和排名僅應用在由預設評分演算法評分的前 50 名結果上。 輸入是從搜尋結果中的內容推導而來。 它無法回溯搜尋索引,存取搜尋文件中未在查詢回應中回傳的其他欄位。 輸入受制於8,960個代幣長度。 這些限制是維持毫秒響應時間所必需的。
預設的評分演算法來自 Bing 與 Microsoft Research,並作為附加功能整合至 Foundry IQ 基礎架構中。 這些模型在內部使用,不對開發者開放,且不可配置。 如需更多關於支持語意排名器的研究與 AI 投資的資訊,請參閱《Bing 的 AI 如何驅動 Foundry IQ》(Microsoft Research Blog)。
語意排名器同時提供答案、說明文字及回應中的重點標示。 例如,若模型將查詢分類為問題,且對答案有 70% 信心,則回傳語意答案。 此外,語意說明會提供結果中最相關的內容,並提供簡短的片段,強調該摘要中最相關的詞彙或片語。
語意排名結果基於底層搜尋索引中的資料,模型則根據從索引取得的資訊提供相關性排名、答案與說明。 在正式環境中使用語意排序器之前,進行進一步測試並確保資料集準確且適合預期使用情境非常重要。 欲了解更多資訊及如何評估語意排序器的範例,請參閱 此處的內容與附錄。
系統效能
在許多 AI 系統中,效能通常以準確度為基準——也就是 AI 系統提供正確預測或輸出的頻率。 在大型自然語言模型中,兩個不同的使用者可能會對相同的輸出產生不同看法,對其實用性或相關性有不同看法,這意味著這些系統的效能必須更靈活地定義。 在這裡,我們廣義上認為效能是指應用程式能如你和使用者預期般運作,包括不會產生有害輸出。
語意排名器是基於公開內容訓練的。 因此,語意相關性會根據索引中的文件及針對索引的查詢而有所不同。 使用這些內容做決策時,務必運用自己的判斷和研究。
提升系統效能的最佳實務
- 請花時間用不同查詢類型來測試你的應用程式,例如關鍵字與混合式語意排名器。 找出哪種查詢體驗最適合你的需求。
- 請花時間根據 功能文件設定語意配置。
- 如果你對搜尋索引中資訊的準確性沒有信心,就不要輕信語意答案。
- 不要總是信任語意字幕,因為它們是透過一系列模型從客戶內容中提取,並預測出最相關的答案,以簡短片段呈現。
語意排名器的評估
評估方法
語意排名器透過內部測試評估,包括對多個資料集的自動與人工判斷,以及內部客戶的回饋。 測試包括依相關性或不相關性評分文件,並依相關性排序。 同樣地,字幕與回答功能也透過內部測試進行排名。
評估結果
我們努力確保所有模型更新不會造成退步(也就是說,更新後的模型應該只會提升目前的生產模型)。 系統會使用適合所評估功能的指標,將每個候選項目直接與目前生產模型進行比較 (例如,用於排名的標準化折扣累積增益,以及用於答案的精確度/召回率)。 語意排名模型透過使用涵蓋不同屬性(語言、長度、格式、風格與語調)的多元訓練資料進行訓練、調整與評估,以支援最廣泛的搜尋情境。 我們的訓練與測試數據來自:
文件來源:
- 學術與產業基準
- 客戶資料(僅測試,經客戶同意執行)
- 綜合資料
查詢來源:
- 基準查詢集
- 客戶提供的查詢集(僅測試,經客戶許可執行)
- 合成查詢集
- 人工產生的查詢集
用於評分查詢與文件配對的標籤來源:
- 學術與產業基準標籤
- 客戶標籤(僅測試,經客戶同意執行)
- 合成資料標籤
- 人工評分標籤
評估並整合語意排名器以供你使用
語意排序器的效能會因實際用途及使用者使用環境而異。 透過推動語意排序功能的深度學習模型所提供的相關性品質,與您的搜尋索引資料品質直接相關。 例如,目前模型的詞彙限制僅考慮前 8,960 個詞作為語意答案。 因此,如果搜尋查詢的語意答案是在長文件的末尾(超過8,960個標記限制)時,答案將不會被提供。 同樣的規則也適用於字幕。 此外,語意設定會依優先順序列出相關搜尋欄位。 你可以重新排序這份清單中的欄位,以幫助調整相關性以更符合你的需求。
為確保情境中最佳效能,客戶應自行評估所實施的解決方案,並使用語意排名器。 客戶通常應遵循一套評估流程,以下包括:(1) 利用部分內部利害關係人評估結果,(2) 利用 A/B 實驗向使用者推送語意排名器,(3) 在服務首次部署於體驗時納入 KPI 與指標監控,以及 (4) 測試並調整語意排序器配置及/或索引定義, 包括使用者介面擺放或業務流程等周邊體驗。
如果您正在高風險領域或產業開發應用程式,例如醫療保健、人力資源、教育或法律領域,請評估該應用程式在您的情境中的運作效果,實施強而有力的人力監督,評估使用者對應用程式限制的理解程度,並遵守所有相關法律。 根據你的情況考慮其他緩解措施。
技術限制、操作因素與射程
有時合成查詢可能不正確、限制過多,或成本過高。 查詢重寫支援 多種語言 ,並嘗試重寫使用者查詢以最大化召回率,必須指定查詢語言作為輸入。 查詢重寫是 Semantic Ranker(Foundry IQ 提升搜尋相關性功能)的一部分,這是一項付費功能。 這點在預測端到端解決方案的整體費用時應納入考量。 查詢重寫只有在啟用語意排序器時才能使用。
在正式環境(應用程式的正式版本)中使用查詢重寫之前,進行進一步測試並確保合成查詢適合預期使用情境非常重要。 欲了解更多資訊及評估查詢重寫的範例,請參閱 此處的內容與附錄。
系統效能
在大型自然語言模型中,兩個不同的使用者可能會對相同的輸出產生不同看法,對其實用性或相關性有不同看法,這意味著這些系統的效能必須更靈活地定義。 在這裡,我們廣義上認為效能是指應用程式能如你和使用者預期般運作,包括不會產生有害輸出。
查詢重寫的效能會因實際應用及使用者使用條件而異。 查詢重寫模型所提供的綜合查詢品質與原始搜尋查詢直接相關。
為確保其情境中最佳效能,客戶應自行評估所實施的解決方案,並使用查詢重寫技術。 客戶通常應遵循以下評估流程:
- 利用部分內部利害關係人來評估結果,
- 使用 A/B 實驗向使用者推出查詢重寫,且
- 在首次部署服務於體驗時,納入關鍵績效指標(KPI)與指標監控
提升系統效能的最佳實務
- 為您的應用程式進行不同查詢類型(全文、向量、混合或其他查詢)的 A/B 測試。 找出哪種查詢體驗最適合你的需求。
- 不要總是假設每個由查詢重寫產生的合成查詢都能反映原始查詢的精確意圖。 合成查詢由經過微調的 SLM 產生,該系統產生的查詢語意與原始查詢的意圖相似,但可能不完全符合意圖。
查詢重寫評估
評估方法
查詢重寫透過內部測試評估,包括對多個資料集的自動化與人工判斷,以及內部客戶的回饋。 測試包括評估語意排序結果與查詢重寫的相關性,與僅用語意排序結果的相關性比較。
評估結果
每個候選模型會直接與目前部署的模型進行比較,並使用適合評估特徵的指標。 查詢重寫模型透過使用廣泛的公開資料來調整與評估,這些資料代表具有不同屬性(語言、長度、格式、風格與語調)的查詢,以支援最廣泛的搜尋情境。 我們的訓練與測試數據來自:
文件來源:
- 學術與產業基準
- 客戶資料(僅測試,經客戶同意執行)
查詢來源:
- 基準查詢集
- 客戶提供的查詢集(僅測試,經客戶許可執行)
- 合成查詢集
- 人工產生的查詢集
用於評分查詢與文件配對的標籤來源:
- 學術與產業基準標籤
- 客戶標籤(僅測試,經客戶同意執行)
- 合成資料標籤
- 人工評分標籤
評估並整合查詢重寫以供你使用。
由於查詢重寫是以公開內容訓練,因此合成查詢會根據向其發出的查詢而有所不同。 因此,使用這些內容做決策時,務必運用自己的判斷和研究。
技術限制、操作因素與射程
雖然生成式AI提示技能具備強大功能,但仍需了解某些限制:
- 這項技能依賴於 Foundry 內客戶設定的內容篩選功能。 Foundry IQ 並未為此技能提供額外的內容安全機制。
- AI 生成內容的品質取決於提示的有效性及底層語言模型。 必須進行徹底測試,以確保產出符合所需標準。
- 處理大量資料並搭配複雜提示可能需要大量運算資源,並可能導致延遲。 明智規劃與分配資源,不僅維持效能與成本效益,也避免資料處理可能延誤。
系統效能
提升系統效能的最佳實務
為了優化GenAI提示技能的效能:
- 利用 Foundry IQ 的 除錯工作階段工具 ,在範例文件上測試提示,確保 AI 生成的內容在全面部署前符合預期。
- 設計清晰且詳盡的提示,有效引導語言模型,減少輸出不相關或不準確的可能性。
- 監控系統效能,並根據需要擴展資源,以應付 AI 處理的計算需求。
- 鼓勵在發表或發布前對產出進行人工監督。 有了生成式 AI,有可能產生可能冒犯或與當前任務無關的內容。
生成式AI提示技能評估
評估並整合生成式AI提示技能以便於你使用
為了在你的具體情境中最大化生成式AI提示技能的效益,請考慮以下步驟:
- 確定具體的豐富目標,例如產生簡潔摘要、擷取關鍵實體或建立描述性元資料,以使技能的應用與您的業務需求相符。
- 先從部分資料開始,評估技能表現並做出必要的調整。 此方法允許在全面部署前進行受控實驗與精進。
- 建立機制來監控 AI 生成內容的品質與影響。 徵求最終用戶回饋,以找出改進空間,並確保豐富資料符合用戶期望。
自主式檢索的限制與運作因素
檢索品質與完整性。 系統可能會遺漏相關內容、產生無益或過於限制性的後續查詢,或在找到所有有用證據前就停止。 Microsoft Retriever 1 只看到有限範圍的擷取內容,而非整個語料庫。 一個模型決定是否完成、成功回答或結果空,並不能證明問題已被完全回答或存在某個事實缺失。
結果取決於來源的可用性與新鮮度、文件擷取、區塊、索引設定、排名、篩選條件以及問題措辭。 查詢與來源內容的語言與領域術語也可能影響品質。
生成內容與來源支援。 模型產生的查詢與答案可能會誤解請求或包含錯誤。 參考文獻有助於使用者尋找證據,但並不能證明來源為真,也不能支持所有答案的說法。 來源內容若有矛盾、陳舊、偏頗或誤導性,都可能影響檢索及後續答案。 檢視檢索出的證據與應用程式產生的輸出。
配置與可用性。 能力會依介面、推理努力、模型配對及知識來源而異。 Microsoft Retriever 1 的執行需要標準付費的知識檢索、相容的區域,以及模型與排序功能可用性。 在部署前確認目前的服務需求與支援的來源。
安全與隱私。 Microsoft Retriever 1 階段處理問題、檢索與搜尋歷史,以及擷取的證據,而不一定涵蓋整個應用程式對話。 外部規劃與答案合成階段具有由配置與請求決定的獨立輸入。 將應用程式不需的敏感資料降至最低或遮蔽。 在使用敏感資訊前,請先審查各服務的資料處理、隱私、保存期限及區域條款。
驗證每個選定來源、擷取路徑、回傳參考及下游答案的授權。 直接索引搜尋會在後續查詢中維持篩選條件與搜尋欄位範圍,但這些設定不會授予授權。 在最終回應中限制欄位,並不一定限制傳送到 Microsoft Retriever 1 的證據欄位。 當您的應用程式需要依使用者或群組限制內容時,請使用文件層級的存取控制。 將原始文件與擷取的段落視為不受信任的輸入。 測試內嵌指令是否會影響檢索或後續答案生成,並套用適當的應用程式層級防護措施。
成本與延遲。 多重搜尋、排名、模型處理,以及可選的外部模型呼叫,都可能增加成本與延遲。 成本與時間取決於所選路徑、輸入與證據大小、搜尋次數及服務配置。 在預期高峰流量下對整個請求進行基準測試,並為您的工作負載估算模型與搜尋使用情況。
代理檢索效能
評估檢索出的證據是否相關、是否足夠完整以完成任務、對預期使用者可取得,且適合後續回答。 衡量整個應用程式的延遲、成本、故障行為,以及可能產生有害或誤導性輸出的可能性。 在選擇預設配置之前,請先針對相同且具代表性的問題與內容,比較各種配置。
效能會因語料庫、索引與來源設定、問題複雜度、推理努力、模型配對、輸出上限以及下游答案模型而有所不同。 應用以下做法:
- 從具代表性的內容和問題開始。 檢查擷取量、區塊邊界、新鮮度,以及用於搜尋和排名的欄位。
- 將主動檢索與適當且簡單的檢索基線進行比較。 同時衡量相關性、證據覆蓋率、延遲與成本。
- 設定並測試篩選器、來源範圍及存取控制。 確認回傳的內容與引用是否適合每位目標使用者。
- 檢視可用的診斷資料與參考資料,了解哪些搜尋與證據促成了結果。 將診斷資料視為潛在敏感資料。
- 明確處理沒有證據、部分結果和錯誤。 如果使用備援,請向使用者清楚說明備援及其限制。
代理檢索評估
內部代理檢索測試則對多個資料集進行自動化與人工判斷,包括與單獨使用語意排序的比較。
評估並整合代理檢索
評估配置,並以具代表性的使用者、問題、來源及語言完成應用。 包含模糊的問題、精確術語、否定、矛盾或過時的文件、無佐證的案例,以及內嵌指示的內容。
將檢索出的證據的相關性與完整性,與所產生答案的正確性及來源支持分開檢視。 檢查引用是否導向可理解且具支持性的內容,以及應用程式是否傳達不確定性或缺乏證據。 在相關情況下,跨語言、使用者群及領域比較結果,以識別潛在偏見或代表性不足。
包含對代表性成功與失敗的人工審查;僅靠自動化評估可能遺漏重要錯誤。 比較您打算使用的擷取路徑與工作設定。 測量延遲、令牌使用量、成本、錯誤率與部分結果率,以及在預期負載下的行為。 監控已部署的應用程式,並利用回饋在內容、設定或模型變更時找出回歸問題。
知識圖譜的限制與操作因素
來源品質、涵蓋範圍與時效性。 缺少文件、文字擷取不佳、段落界線不當、術語不一致以及內容陳舊,都可能導致輸出結果誤導。 上游錯誤可透過分組、擷取、檢索及答案生成等過程傳播。
主題群組可能不完整、過於寬泛或過於狹窄。 具代表性的標示範例可能會省略罕見或少數主題。 一個標籤可以適用於該樣本,卻無法描述其他成員。 從多個主題群組中檢索並不能證明涵蓋是全面的。 網站地圖繼承了這些限制:缺少分支並不代表語料庫缺少主旨。
實體擷取可能遺漏事實、指派錯誤類型、合併不同實體、將一個實體拆分成多個,或反轉關聯。 本體論可以排除問題所需的概念。 缺失的圖證據可能反映的是內容缺失、擷取失敗或結構不匹配,而非現實世界的缺失。
將圖譜結果與來源內容對照驗證,特別是針對計數、「全部查找」查詢及遺失結果。 當來源內容、嵌入、模型或本體論變更時,更新圖形資產。
生成內容、偏見與語言。 標籤、描述、本體提案、提取的關係、查詢以及後續答案都可能不準確或缺乏依據。 流利的描述或有效的查詢並不代表正確性。 嵌入模型與語言模型可能反映偏見,而本體論選擇或主題分組也可能遺漏觀點或強加不適當的分類。
主題與網站地圖的語言能力取決於已設定的嵌入模型,以及在有使用時的命名模型。 對於實體而言,則取決於擷取與查詢規劃模型,以及本體論是否適合用於來源術語。 評估使用者所需的語言與領域,而非假設各語言品質相同。
驗證衍生標籤、圖結構、圖形證據、擴充後的段落及最終答案的授權。 保護索引並不代表授權在圖擷取、來源水合或消費應用程式中均被強制執行。
本地內容副本與模型輸入。 當使用客戶端的圖形建構工具時,輸入內容的副本會儲存在客戶的電腦上。 本地建置產物除了獨立的雲端輸出之外,也可包括文件分塊、中間表示與嵌入。 以適當的存取、儲存及保留控管來保護本機端與雲端的產出物。 將嵌入向量與衍生圖資料視為潛在敏感資料。
模型呼叫可以處理代表性段落以命名、文件文本以擷取,或問題與結構上下文用於圖查詢規劃。 本體撰寫與下游答案生成各自有自己的模型輸入。 檢視已設定服務的隱私、保留、資料駐留及內容安全條款,而非假設統一政策或僅本地處理。 本機產物並不構成保留、刪除或資料駐留保證。
使用者理解與防護措施。 告訴使用者標籤、關聯、查詢或答案何時是由 AI 生成,並說明相關限制。 提供檢查證據並回報錯誤的方法。 當結果影響重大決策時,要求適當的人工審查。
將文件與擷取的文字視為不受信任的模型輸入。 測試嵌入指令是否會影響命名、擷取、查詢規劃或答案產生。 採取適當的輸入處理、內容安全控管及輸出審查;本說明並不聲稱 Knowledge Graphs 提供完整的提示注入或有害內容防禦。
知識圖譜效能
效能包括證據的實用性與來源支援、關聯與標籤的準確性,以及建立與查詢圖形資產所需的時間與成本。 利用具代表性的資料衡量建置時間、儲存空間、查詢延遲、重試及模型成本。 來源準備、模型選擇、本體涵蓋、標註範例及查詢解讀都會影響結果。
- 先從具代表性的內容和問題開始,再建立更大的圖表。
- 檢視本體論及與領域專家擷取的關係,針對應用程式需要支援的問題進行檢視。
- 檢查主題成員資格、標籤及導覽路徑。 將標籤與命名所選段落以外的段落進行檢查。
- 針對相同任務,將基於圖形的檢索與關鍵字、向量或混合檢索進行比較。
知識圖譜評估
主題與網站地圖透過階層完整性檢查、對產生標籤的來源支援稽核,以及後續的答案基礎測試進行評估。 透過比較圖檢索與標準檢索基線,對實體進行英文查詢評估。 自動法官會根據標準答案來評估正確性,並根據檢索出的證據來判斷正確性。
評估並整合知識圖譜
先從具代表性的文件和問題開始。 包含棘手案例、缺失證據、模糊實體、否定、文件衝突、罕見主題,以及使用者使用的語言。
針對主題與網站地圖,檢查成員關係、標籤、可選描述、導覽路徑及擷取的段落。 用命名樣本外的成員來測試標籤。 將主題導向檢索與您現有的方法進行比較。
對於實體,請由領域專家根據原始文字檢視本體論與取樣關係。 檢查空白結果是否被當作不存在的證明。
分別評估正確性、來源支持、完整性、棄答、失敗率及重複執行一致性。 同時也要測量成本與延遲。 使用自動化評審作為證據來源之一,並透過人工審查具代表性的成功與失敗案例。 部署後監控應用程式並納入使用者回饋。
了解更多關於負責任 AI 的資訊
了解更多關於 Foundry IQ 的資訊
意見反應
此頁面對您有幫助嗎?
No
需要本主題的協助嗎?
想要嘗試使用 Ask Learn 來釐清或引導您完成本主題嗎?
其他資源
-
上次更新時間:
2026-11-18