Note
Foundry IQ(Azure AI 搜尋服務)提供直接的索引與查詢 API,並搭配高階知識來源與知識庫 API 用於受控檢索。 使用 Azure 入口網站、REST API 或 Azure SDK 來設定這些功能,或將代理連線到 Microsoft Foundry 入口網站 中的知識庫。
本文說明在 Foundry IQ(Azure AI 搜尋服務)中分析查詢與索引效能的工具、行為與方法。
本文僅適用於 經典搜尋,全文搜尋情境。
建立基準數值
在任何大型實作中,在將 Foundry IQ 服務導入生產環境前,先進行效能基準測試至關重要。 您應該測試所預期的搜尋查詢負載,但也應該測試預期的資料擷取工作負載 (盡可能同時執行這兩種負載)。 具有基準測試編號有助於驗證適當的搜尋層、服務設定以及預期的查詢延遲。
若要隔離分散式服務架構的效果,請嘗試測試一個複本和一個分割區的服務設定。
Note
對於儲存體最佳化的階層 (L1 和 L2),與標準層相比,您應該預期較低的查詢輸送量和較高的延遲。
使用資源記錄
管理員處置最重要的診斷工具是資源記錄。 資源記錄是關於您的 Foundry IQ 服務的營運資料與指標的彙整。 資源記錄是透過 Azure 監視器所啟用。 使用 Azure 監視器以及儲存資料有其相關聨成本,但如果您為服務啟用,則調查效能問題時會有所幫助。
下圖顯示查詢要求和回應中的事件鏈結。 延遲可能發生在任一節點,無論是在網路傳輸、應用程式服務層內容處理,或是 Foundry IQ 服務中。 資源記錄的一大優點是活動會從 Foundry IQ 服務的角度被記錄,這表示日誌能協助您判斷效能問題是因為查詢、索引問題,或其他故障點所致。
資源記錄可為您提供用於儲存已記錄資訊的選項。 建議使用 Log Analytics,以針對資料執行進階 Kusto 查詢,來回答許多使用和效能問題。
在您的 Foundry IQ 服務入口網站頁面上,您可以透過診斷設定啟用記錄功能,然後選擇「日誌」來對 Log Analytics 發出 Kusto 查詢。 若要了解如何將資源記錄傳送至 Log Analytics 工作區,您可以在其中使用記錄查詢加以分析,請參閱從 Azure 資源收集和分析資源記錄。
節流行為
當 Foundry IQ 服務已達到容量時,會發生節流。 節流可能會在查詢或編製索引期間發生。 在用戶端,API 呼叫被節流時會產生 503 HTTP 回應。 在編製索引期間,也可能會收到 207 HTTP 回應,這指出無法編製一或多個項目的索引。 此錯誤表示 Foundry IQ 服務已接近容量上限。
根據經驗法則,請嘗試量化節流的程度及任何模式。 例如,如果 500,000 個搜尋查詢中只有 1 個遭到節流,可能就不值得調查。 如果在某段時間內,查詢被大量節流,那將是更大的問題。 透過觀察一段期間內的節流情況,也有助於識別較可能發生節流的時間範圍,並幫助您判斷如何以最佳方式因應。
解決大多數節流問題的簡單方法,就是投入更多資源到 Foundry IQ 服務(通常是針對查詢節流的複本,或是針對索引的節流所需的分割區)。 不過,增加複本或分割區會增加成本,這就是為什麼了解節流發生原因非常重要。 下一節將說明如何調查導致節流的條件。
以下是一個 Kusto 查詢範例,可識別 Foundry IQ 服務負載期間 HTTP 回應的細分情況。 在為期 7 天的期間內,繪製的長條圖顯示,與成功的 (HTTP 200) 回應相比,被限制的搜尋查詢佔了相對較大比例。
AzureDiagnostics
| where TimeGenerated > ago(7d)
| summarize count() by resultSignature_d
| render barchart
檢視特定期間內的節流情況,可協助您找出較常發生節流的時間。 在下面的範例中,使用時間序列圖來顯示在指定時間範圍內發生的已節流查詢數目。 在此情況下,已節流查詢的發生時間與效能基準測試執行的時間相關聯。
let ['_startTime']=datetime('2024-02-25T20:45:07Z');
let ['_endTime']=datetime('2024-03-03T20:45:07Z');
let intervalsize = 1m;
AzureDiagnostics
| where TimeGenerated > ago(7d)
| where resultSignature_d != 403 and resultSignature_d != 404 and OperationName in ("Query.Search", "Query.Suggest", "Query.Lookup", "Query.Autocomplete")
| summarize
ThrottledQueriesPerMinute=bin(countif(OperationName in ("Query.Search", "Query.Suggest", "Query.Lookup", "Query.Autocomplete") and resultSignature_d == 503)/(intervalsize/1m), 0.01)
by bin(TimeGenerated, intervalsize)
| render timechart
測試單個查詢
在某些情況下,測試個別查詢來查看其執行方式十分有用。 為此,重要的是要看到 Foundry IQ 服務完成工作所需時間,以及從客戶到客戶的往返請求所需時間。 診斷記錄可以用來查閱個別作業,但透過 REST 用戶端執行此作業可能較為簡單。
在下面的範例中,已執行 REST 型搜尋查詢。 Foundry IQ 會在每個回應中標示完成查詢所需的毫秒數,顯示在標頭標籤中,以「經過時間」表示。 在回應頂端的 [狀態] 旁,您會看到往返持續時間,在此案例中為 125 毫秒(毫秒)。 在結果區段中,已選取「標題」索引標籤。 使用下方圖片中以紅色框標示的這兩個值,我們看到 Foundry IQ 服務完成搜尋查詢需時 21 毫秒,而整個客戶端往返請求耗時 125 毫秒。 透過減去這兩個數字,我們可以確定將搜尋查詢傳送到 Foundry IQ 服務並將搜尋結果傳回用戶端,額外花了 104 毫秒。
這項技術可協助您將網路延遲與影響查詢效能的其他因素隔離。
查詢速率
您的 Foundry IQ 服務會限制請求的一個可能原因是,查詢數量龐大,且以每秒查詢數(QPS)或每分鐘查詢數(QPM)來記錄。 隨著 Foundry IQ 服務接收到越來越多的 QPS,通常回應這些查詢的時間會越來越長,直到無法跟上,這時它會回傳一個限制流量的 503 HTTP 回應。
下列 Kusto 查詢會顯示以 QPM 為單位測量的查詢磁碟區,以及以毫秒為單位的平均查詢持續時間 (AvgDurationMS),以及每個查詢中所傳回的平均文件數目 (AvgDocCountReturned)。
AzureDiagnostics
| where OperationName == "Query.Search" and TimeGenerated > ago(1d)
| extend MinuteOfDay = substring(TimeGenerated, 0, 16)
| project MinuteOfDay, DurationMs, Documents_d, IndexName_s
| summarize QPM=count(), AvgDuractionMs=avg(DurationMs), AvgDocCountReturned=avg(Documents_d) by MinuteOfDay
| order by MinuteOfDay desc
| render timechart
Tip
若要顯示此圖表背後的資料,請移除 | render timechart 行,然後重新執行查詢。
編製索引對查詢的影響
查看效能時考慮的重要因素是編製索引使用與搜尋查詢相同的資源。 如果您要編製大量內容的索引,則在服務嘗試容納這兩個工作負載時,可能預期會看到延遲成長。
如果查詢速度變慢,則請查看索引編製活動的時機,以查看其是否與查詢降低一致。 例如,索引子可能正在執行每日或每小時作業,而此作業與搜尋查詢的效能降低相互關聯。
本節提供一組查詢,可協助您視覺化搜尋和編製索引速率。 在這些範例中,是在查詢中設定時間範圍。 在 Azure 入口網站中執行查詢時,請務必指出「在查詢中設定」。
平均查詢延遲
在下面的查詢中,使用間隔大小 1 分鐘來顯示搜尋查詢的平均延遲。 從圖表中,我們可以看到平均延遲在下午 5:45 之前很低,並持續到下午 5:53。
let intervalsize = 1m;
let _startTime = datetime('2024-02-23 17:40');
let _endTime = datetime('2024-02-23 18:00');
AzureDiagnostics
| where TimeGenerated between(['_startTime']..['_endTime']) // Time range filtering
| summarize AverageQueryLatency = avgif(DurationMs, OperationName in ("Query.Search", "Query.Suggest", "Query.Lookup", "Query.Autocomplete"))
by bin(TimeGenerated, intervalsize)
| render timechart
每分鐘平均查詢 (QPM)
下列查詢可觀察每分鐘的平均查詢數,以確保沒有突增的搜尋要求可能影響延遲。 從圖表中,我們可以看到有一些變動,但沒有任何跡象顯示請求數量的激增。
let intervalsize = 1m;
let _startTime = datetime('2024-02-23 17:40');
let _endTime = datetime('2024-02-23 18:00');
AzureDiagnostics
| where TimeGenerated between(['_startTime'] .. ['_endTime']) // Time range filtering
| summarize QueriesPerMinute=bin(countif(OperationName in ("Query.Search", "Query.Suggest", "Query.Lookup", "Query.Autocomplete"))/(intervalsize/1m), 0.01)
by bin(TimeGenerated, intervalsize)
| render timechart
每分鐘索引操作 (OPM)
在這裡,我們將查看每分鐘的編製索引作業數目。 從圖表中,我們可以看到,大量資料的索引在下午 5:42 開始,並於下午 5:50 結束。 此編製索引已在搜尋查詢開始變成延遲之前的 3 分鐘開始,並在搜尋查詢不再延遲之前的 3 分鐘結束。
從這個洞見可以看出,Foundry IQ 服務大約花了 3 分鐘才變得足夠忙碌,以致索引會影響查詢延遲。 我們也可以看到,索引完成後,Foundry IQ 服務又花了 3 分鐘完成新索引內容的所有工作,查詢延遲才解決。
let intervalsize = 1m;
let _startTime = datetime('2024-02-23 17:40');
let _endTime = datetime('2024-02-23 18:00');
AzureDiagnostics
| where TimeGenerated between(['_startTime'] .. ['_endTime']) // Time range filtering
| summarize IndexingOperationsPerSecond=bin(countif(OperationName == "Indexing.Index")/ (intervalsize/1m), 0.01)
by bin(TimeGenerated, intervalsize)
| render timechart
背景服務處理
通常會看到查詢或編製索引延遲偶爾出現尖峰。 尖峰可能會因應編製索引或高查詢速率而發生,但也可能會在合併作業期間發生。 搜尋索引會以區塊或分區形式儲存。 系統會定期將較小的分區合併成大型分區,以協助將服務效能最佳化。 此合併程序也會清除先前標示為要從索引中刪除的文件,進而復原儲存體空間。
合併分區的速度很快,但也需要大量資源,因此可能會降低服務效能。 如果您注意到短暫的查詢延遲,而這些延遲與最近更新的索引內容變更一致,則可以假設該延遲是分片合併操作所造成。
後續步驟
請檢閱這些與服務效能分析相關的文章。