Note
Foundry IQ(Azure AI 搜尋服務)提供直接的索引與查詢 API,並搭配高階知識來源與知識庫 API 用於受控檢索。 使用 Azure 入口網站、REST API 或 Azure SDK 來設定這些功能,或將代理連線到 Microsoft Foundry 入口網站 中的知識庫。
Foundry IQ(Azure AI 搜尋服務)不提供嵌入模型,因此你必須負責為查詢輸入與輸出建立向量。 選擇下列其中一個方法:
| 方法 | 說明 |
|---|---|
| 整合向量化 | 在 Foundry IQ 中使用內建的資料分塊與向量化。 此方法依賴索引器、技能集,以及指向外部嵌入模型(如 Microsoft Foundry 中的)的內建或自訂技能。 |
| 手動向量化 | 自行管理資料區塊化和向量化。 若要編制索引,您可以將 預先向量化的文件推送 至搜尋索引中的向量欄位。 針對查詢,您會 提供預先計算的向量 給搜尋引擎。 如需此方法的示範,請參閱 azure-search-vector-samples GitHub 存放庫。 |
我們建議針對大部分案例進行整合向量化。 雖然您可以使用任何支援的內嵌模型,但本文會使用 Azure OpenAI 模型進行說明。
如何在向量查詢中使用內嵌模型
內嵌模型會產生查詢輸入和查詢輸出的向量。 查詢輸入包括:
在查詢處理過程中轉換為向量圖的文字或圖片。 作為整合向量化的一部分,向量化工具 會執行這項工作。
預先計算好的向量。 您可以將查詢輸入傳遞至您選擇的內嵌模型,以產生這些向量。 若要避免 速率限制,請在工作負載中實作重試邏輯。 我們的 Python 示範 會使用 頑強性。
根據查詢輸入,搜尋引擎會從搜尋索引擷取相符的文件。 這些文件是查詢輸出。
您的搜尋索引必須已經包含具有內嵌填入的一或多個向量欄位的文件。 您可以透過整合式或手動向量化來建立這些內嵌。 若要確保正確結果,請使用相同的內嵌模型來編製索引和查詢。
若要變更現有應用程式所使用的模型,請參閱〈遷移嵌入模型〉以取得遷移選項、驗證與切換指引。
內嵌模型整合的秘訣
識別使用案例。 評估特定使用案例,其中內嵌向量搜尋功能的模型整合會為搜尋解決方案增值。 範例包括 多模式搜尋 或比對影像內容與文字內容、多語系搜尋和相似度搜尋。
設計分塊策略。 內嵌模型對於接受的權杖數量有限制,因此大型檔案需要 資料區塊化。
優化成本與效能。 向量搜尋需要大量資源,且受限於最大限制,因此只向量化包含語意意義的欄位。 縮小向量尺寸 以以同樣價格儲存更多向量。
選擇合適的嵌入模型。 為您的使用案例選取模型,例如文字型搜尋的文字內嵌,或視覺搜尋的影像內嵌。 考慮預先定型的模型,例如 OpenAI 的 text-embedding-ada-002,或 Foundry Tools 中 Azure Vision 的影像檢索 REST API。
標準化向量長度。 若要改善相似性搜尋的精確度和效能,請先將向量長度正規化,再將它們儲存在搜尋索引中。 大部分預先定型的模型已經正規化。
微調模型。 如有需要,請微調網域特定資料上的模型,以改善其效能,以及與您搜尋應用程式的相關性。
測試並反覆測試。 持續測試和精簡內嵌模型整合,以達到您想要的搜尋效能和使用者滿意度。
在相同的區域中建立資源
雖然使用 Azure OpenAI 內嵌模型的整合向量化不需要資源位於相同區域中,但使用相同的區域可以改善效能並減少延遲。
若要針對您的資源使用相同的區域:
檢查 文字內嵌模型的區域性可用性。
在同一區域建立 Azure OpenAI 資源與 Foundry IQ 服務。
在 Foundry 中選擇嵌入模型
當你在 Foundry 入口網站的代理人工作流程中新增知識時,你可以選擇建立搜尋索引。 精靈會引導您完成步驟。
一個步驟包括選取內嵌模型來向量化純文本內容。 支援下列模型:
- text-embedding-3-small
- text-embedding-3-large
- text-embedding-ada-002
- Cohere-embed-v3-english
- Cohere-embed-v3-多語系版
您的模型必須已經部署,而且您必須具有存取它的權限。 欲了解更多資訊,請參閱 Foundry 模型的部署概覽。
為臨時查詢產生嵌入
如果您不想使用整合式向量化,您可以手動產生內嵌,並將它貼到向量查詢的 vectorQueries.vector 屬性中。 欲了解更多資訊,請參閱在 Foundry IQ 中建立向量查詢。
下列範例會假設 text-embedding-ada-002 模型。 用您的 Azure OpenAI 資源詳細資料取代 YOUR-API-KEY 和 YOUR-OPENAI-RESOURCE。
using System;
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;
using Newtonsoft.Json;
class Program
{
static async Task Main(string[] args)
{
var apiKey = "YOUR-API-KEY";
var apiBase = "https://YOUR-OPENAI-RESOURCE.openai.azure.com";
var apiVersion = "2024-02-01";
var engine = "text-embedding-ada-002";
var client = new HttpClient();
client.DefaultRequestHeaders.Add("Authorization", $"Bearer {apiKey}");
var requestBody = new
{
input = "How do I use C# in VS Code?"
};
var response = await client.PostAsync(
$"{apiBase}/openai/deployments/{engine}/embeddings?api-version={apiVersion}",
new StringContent(JsonConvert.SerializeObject(requestBody), Encoding.UTF8, "application/json")
);
var responseBody = await response.Content.ReadAsStringAsync();
Console.WriteLine(responseBody);
}
}
輸出是 1,536 維度的向量陣列。