附註
Foundry IQ(Azure AI 搜尋服務)提供直接的索引與查詢 API,並搭配高階知識來源與知識庫 API 用於受控檢索。 使用 Azure 入口網站、REST API 或 Azure SDK 來設定這些功能,或將代理連線到 Microsoft Foundry 入口網站 中的知識庫。
對於每個向量欄位,Foundry IQ(Azure AI 搜尋服務)會依欄位上指定的演算法參數建構內部向量索引。 由於 Foundry IQ 對向量索引大小設有配額,你應該知道如何估算並監控向量大小,以確保不超出限制。
在內部,搜尋索引的實體資料結構包括:
- 原始內容(用於需要非標記化內容的檢索模式)
- 反轉索引(用於可搜尋的文字欄位)
- 向量索引(用於可搜尋向量場)
本文說明每個向量欄位背後內部向量索引的限制。
秘訣
向量優化技術 普遍可用。 使用縮小數據類型、純量和二進位量化,以及消除備援記憶體等功能,以減少您的向量配額和記憶體配額耗用量。
配額和向量索引大小的要點
向量索引大小以位元組為單位測量。
服務的總記憶體包含所有向量索引檔案。 Foundry IQ 會為不同用途維護不同的向量索引檔案副本。 我們提供其他選項,透過消除部分這些副本來降低向量索引的存儲開銷。
Foundry IQ 服務整體會依每個分割區實施向量配額。 如果您新增分割區,向量配額也會增加。 新服務每個分割區的向量配額較高。 如需詳細資訊,請參閱向量索引大小限制。
並非所有演算法都會取用向量索引大小配額。 系統會根據近似近鄰 (ANN) 搜尋的記憶體需求來建立向量配額。 使用階層式導覽小型世界 (HNSW) 演算法建立的向量欄位,在查詢執行期間必須位於記憶體中,因為圖形式周遊的隨機存取本質。 使用全量 K-最近鄰 (KNN) 演算法的向量欄位會在查詢執行期間以分頁方式動態載入到記憶體中,因此不會消耗向量配額。
檢查分割大小與數量
如果您不確定您的 Foundry IQ 服務上限是多少,以下有兩種方式可以取得相關資訊:
在 Azure 入口網站的 Foundry IQ 服務概覽頁面中,屬性標籤與使用量標籤會顯示分割區大小與儲存空間,以及向量配額與向量索引大小。
在 Azure 入口網站的 [ 調整 ] 頁面上,您可以檢閱分割區的數目和大小。
您的向量限制會根據您的 服務建立日期而有所不同。
檢查向量指數大小
向量計量的要求是資料平面作業。 您可以使用 Azure 入口網站、REST API 或 Azure SDK,透過服務統計資料和個別索引,取得服務層級的向量使用量。
每個索引的向量大小
若要取得每個索引的向量索引大小,請選取 [搜尋管理>索引] 以檢視索引清單和文件計數、記憶體內向量索引的大小,以及儲存在磁碟上的索引大小總計。
回想一下,向量配額是以記憶體限制為基礎。 對於使用 HNSW 演算法建立的向量索引,所有可搜尋的向量索引都會永久載入記憶體中。 對於使用詳盡 KNN 演算法建立的索引,向量索引會在查詢期間依序以區塊方式載入。 沒有詳盡 KNN 索引的記憶體落地需求。 記憶體中載入頁面的存留期類似於文字搜尋,而且沒有其他計量適用於完整 KNN 索引,除了總記憶體之外。
下列螢幕快照顯示相同向量索引的兩個版本。 使用 HNSW 演算法建立了一個版本,其中向量圖形是駐留在記憶體中的。 另一個版本是使用詳盡的 KNN 演算法所建立。 使用詳盡的 KNN 時,沒有專門的記憶體內向量索引,因此門戶會顯示 0 MB 的向量索引大小。 這些向量仍存在且會計算在整體記憶體大小中,但不會佔用向量索引大小計量所追蹤的記憶體內部資源。
每個服務的向量大小
若要取得整個 Foundry IQ 服務的向量索引大小,請選擇 「概覽 」頁面的 「使用情況 」標籤。入口網站頁面每隔幾分鐘刷新一次,如果你最近更新了索引,請稍等再查看結果。
以下截圖為較舊的 Standard 1 (S1) Foundry IQ 服務,設定為一個分割區和一個複本。
儲存配額是一種磁碟限制,包含 Foundry IQ 服務上的所有索引(向量與非向量)。
向量索引大小配額是記憶體條件約束。 它是載入 Foundry IQ 服務中每個向量欄位所建立的所有內部向量索引所需的記憶體容量。
螢幕擷取畫面顯示索引 (向量和非向量) 耗用近 460 MB 的可用磁碟記憶體。 向量索引在服務層級耗用近 93 MB 的記憶體。
新增或移除分割區時,記憶體和向量索引大小的配額都會增加或減少。 如果您更改分割區數量,格子會顯示存儲和向量配額的相應變動。
附註
在磁碟上,向量索引不是 93 MB。 磁碟上的向量索引所占用的空間是記憶體中向量索引的三倍。 如需詳細資料,請參閱向量欄位如何影響磁碟儲存體。
影響向量索引大小的因素
有三個主要元件會影響內部向量索引的大小:
- 資料的原始大小
- 所選演算法的額外負荷
- 刪除或更新索引內文件的額外負荷
資料的原始大小
每個向量都是單精確度浮點數的陣列,以類型 Collection(Edm.Single) 的欄位表示。
向量資料結構需要儲存體,在下列計算中以資料的「原始大小」表示。 使用此「原始大小」來估計向量欄位的向量索引大小需求。
一個向量的維度決定了其儲存大小。 請將一個向量的大小乘以包含該向量欄位的文件數目,以取得「原始大小」:
raw size = (number of documents) * (dimensions of vector field) * (size of data type)
| EDM 資料類型 | 資料類型的大小 |
|---|---|
Collection(Edm.Single) |
4 個位元組 |
Collection(Edm.Half) |
2 個位元組 |
Collection(Edm.Int16) |
2 個位元組 |
Collection(Edm.SByte) |
1 個位元組 |
所選演算法的記憶體額外負荷
每個 ANN 演算法都會在記憶體中產生額外的數據結構,以啟用有效率的搜尋。 這些結構會耗用記憶體內的額外空間。
對於 HNSW 演算法,未壓縮 float32(Edm.Single)向量的記憶體開銷介於 1% 到 20% 之間。
隨著維度增加,記憶體額外負荷百分比會減少。 這是因為向量的原始大小會增加,而其他儲存圖連通資訊的資料結構則在給定 m的 下保持固定大小。 因此,這些額外數據結構的相對影響會隨著整體向量大小而降低。
記憶體額外負荷會隨著 HNSW 參數 m的較大值而增加,這會指定索引建構期間為每個新向量建立的雙向連結數目。 這是因為每個連結在每份文件中大約貢獻 8 到 10 個位元組,而總額外負荷會隨著 m 按比例調整。
下表摘要說明 未壓縮 向量字段內部測試中觀察到的額外負荷百分比:
| 維度 | HNSW 參數 (m) | 營運費用百分比 |
|---|---|---|
| 96 | 4 | 20% |
| 200 | 4 | 8% |
| 768 | 4 | 2% |
| 1536 | 4 | 1% |
| 3072 | 4 | 0.5% |
這些結果示範 HNSW 演算法的維度、HNSW 參數 m 和記憶體額外負荷之間的關聯性。
對於使用壓縮技術的向量欄位 (例如純量或二進位量化),額外負荷百分比會顯示消耗向量索引總大小的較高百分比。 隨著數據的大小減少,用來儲存圖形連線資訊的固定大小數據結構的相對影響會變得更重要。
刪除或更新索引內文件的額外負荷
刪除或更新具有向量欄位的文件時 (更新會在內部以刪除和插入作業表示),基礎文件會在後續查詢期間標示為已刪除和已略過。 當新文件編製索引且內部向量索引增長時,系統會清除這些已刪除的文件並回收資源。 這表示您可能會觀察到刪除文件與釋放基礎資源之間有延遲的情形。
我們將這稱為已刪除的文件比例。 由於已刪除的文件比率取決於您服務的索引編製特性,因此沒有通用啟發學習法來估計此參數,而且沒有 API 或指令碼傳回服務的有效比率。 我們觀察到一半的客戶具有小於 10% 的已刪除文件比率。 如果您傾向於執行高頻率刪除或更新,則可能會觀察到較高的已刪除文件比率。
這是影響向量索引大小的另一個因素。 不幸的是,我們沒有一種機制可呈現目前刪除的文件比率。
估計記憶體中資料的總大小
將先前描述的因素納入考慮,若要估計向量索引的總大小,請使用下列計算方式:
(raw_size) * (1 + algorithm_overhead (in percent)) * (1 + deleted_docs_ratio (in percent))
例如,若要計算 raw_size,假設您使用熱門的 Azure OpenAI 模型,text-embedding-ada-002 具有 1,536 個維度。 這表示一份文件將會取用 1,536 個 Edm.Single (浮點數),或 6,144 個位元組,因為每個 Edm.Single 為 4 個位元組。 1,000 份具有單一、1,536 維度向量欄位的文件,總共會取用 1000 份文件 x 1536 個浮點數/文件 = 1,536,000 個浮點數,或 6,144,000 個位元組。
如果您有多個向量欄位,則必須針對索引內的每個向量欄位執行此計算,並將其全部加在一起。 例如,1,000 份具有兩個 1,536 維度向量欄位的文件,取用 1000 份文件 x 2 個欄位 x 1536 個浮點數/文件 x 4 位元組/浮點數 = 12,288,000 個位元組。
若要取得向量索引大小,請將這個 raw_size 乘以 演算法額外負荷和已刪除的文件比率。 如果所選 HNSW 參數的演算法額外負荷為 10%,且已刪除的文件比率為 10%,則我們會取得:6.144 MB * (1 + 0.10) * (1 + 0.10) = 7.434 MB。
向量欄位如何影響磁碟儲存體
本文多半提供記憶體向量大小的相關資訊。 關於向量索引的儲存開銷資訊,請參見 「從儲存中消除可選向量實例」。