Hapus sejumlah instans vektor opsional dari penyimpanan

Pencarian Azure AI menyimpan beberapa salinan bidang vektor yang digunakan dalam beban kerja tertentu. Jika skenario pencarian Anda tidak memerlukan semua salinan ini, Anda dapat menghilangkan penyimpanan untuk beban kerja tersebut.

Kasus penggunaan di mana salinan tambahan digunakan meliputi:

• Mengembalikan vektor mentah dalam respons kueri atau mendukung pembaruan inkremental ke konten vektor.
• Penilaian ulang vektor terkompresi (terkuantisasi) sebagai teknik pengoptimalan kueri.

Menghapus penyimpanan tidak dapat diubah dan memerlukan pengindeksaian ulang jika Anda ingin kembali.

Prasyarat

• Bidang vektor dalam indeks pencarian, dengan konfigurasi yang vectorSearch menentukan algoritma Hierarkis Navigable Small Worlds (HNSW) atau K-Nearest Neighbor (KNN) yang lengkap, dan profil vektor baru.

Bagaimana bidang vektor disimpan

¹ Salinan ini juga untuk operasi indeks internal dan untuk pencarian KNN lengkap dalam versi API yang lebih lama, pada indeks yang dibuat menggunakan API 2023. Pada indeks yang lebih baru, bidang yang dikonfigurasi eKNN terdiri dari vektor presisi penuh sehingga tidak diperlukan salinan tambahan.

Menghapus vektor sumber (data JSON)

Dalam definisi bidang vektor, stored adalah properti boolean yang menentukan apakah penyimpanan dialokasikan untuk konten vektor yang dapat diambil yang diperoleh selama pengindeksan (instans sumber). Secara default, stored diatur ke true. Jika Anda tidak memerlukan konten vektor mentah dalam respons kueri, mengubah stored untuk false dapat menyimpan hingga 50% penyimpanan per bidang.

Pertimbangan untuk pengaturan "stored": false:

• Karena vektor tidak dapat dibaca manusia, Anda umumnya dapat menghilangkannya dari hasil yang dikirim ke LLM dalam skenario RAG atau dari hasil yang dirender di halaman pencarian. Namun, Anda harus menyimpannya jika Anda menggunakan vektor dalam proses hilir yang memerlukan konten vektor.

• Jika strategi pengindeksan Anda menggunakan pembaruan dokumen parsial, seperti merge atau mergeOrUpload pada dokumen yang ada, pengaturan "stored": false mencegah Pencarian Azure AI mempertahankan vektor yang ada saat bidang vektor dihilangkan dari permintaan pembaruan. Anda harus menyertakan seluruh bidang vektor (dan bidang nonvektor yang Anda perbarui) di setiap operasi pengindeksan ulang. Jika tidak, data vektor hilang tanpa kesalahan atau peringatan. Untuk menghindari risiko ini sama sekali, atur "stored": true.

Untuk bidang vektor baru dalam indeks pencarian, atur "stored": false untuk menghapus penyimpanan dapat diambil kembali secara permanen untuk bidang vektor. Contoh berikut menunjukkan definisi bidang vektor dengan stored properti .

PUT https://[service-name].search.windows.net/indexes/demo-index?api-version=2026-04-01 
  Content-Type: application/json  
  api-key: [admin key]  

    { 
      "name": "demo-index", 
      "fields": [ 
        { 
          "name": "vectorContent", 
          "type": "Collection(Edm.Single)", 
          "retrievable": false, 
          "stored": false, 
          "dimensions": 1536, 
          "vectorSearchProfile": "vectorProfile" 
        } 
      ] 
    } 

Ringkasan poin utama

• Berlaku untuk bidang yang memiliki tipe data vektor.

• Mempengaruhi penyimpanan pada disk, bukan memori, dan tidak berpengaruh pada kueri. Eksekusi kueri menggunakan indeks vektor terpisah yang tidak terpengaruh oleh stored properti karena salinan vektor selalu disimpan.

• Properti stored diatur selama pembuatan indeks pada bidang vektor dan tidak dapat diubah. Jika Anda ingin konten yang dapat diambil kembali nanti, Anda harus menghapus dan membangun ulang indeks atau membuat serta memuat bidang baru yang memiliki atribusi baru.

• Defaultnya adalah "stored": true dan "retrievable": false. Dalam konfigurasi default, salinan yang dapat diambil disimpan tetapi tidak dikembalikan secara otomatis dalam hasil. Ketika stored adalah true, Anda dapat beralih retrievable antara true dan false kapan saja tanpa harus membangun kembali indeks. Ketika stored adalah false, retrievable harus false dan tidak dapat diubah.

Menghapus vektor presisi penuh

Vektor presisi penuh asli digunakan dalam operasi penghitungan ulang atas vektor terkompresi (terkuantisasi). Tujuan penentuan skor ulang adalah untuk mengurangi kehilangan informasi karena kompresi. Efek penilaian skor ulang adalah pengambilan sekumpulan dokumen kandidat yang lebih besar dari indeks terkompresi, dengan menghitung ulang skor kesamaan menggunakan vektor asli atau produk titik. Agar penilaian ulang dapat berfungsi, vektor asli harus tetap tersimpan untuk skenario tertentu. Akibatnya, sementara kuantisasi mengurangi penggunaan memori (penggunaan ukuran indeks vektor), itu sedikit meningkatkan persyaratan penyimpanan karena vektor terkompresi dan asli disimpan. Penyimpanan tambahan kira-kira sama dengan ukuran indeks terkompresi.

Persyaratan penilaian ulang dengan pendekatan kuantisasi:

• Penilaian ulang vektor terkuantisasi skalar memerlukan penyimpanan vektor presisi penuh asli.

• Penilaian kembali vektor biner yang terkuantisasi dapat menggunakan vektor presisi penuh asli, atau hasil perkalian titik dari penyematan biner, yang menyediakan hasil pencarian berkualitas tinggi, tanpa harus mereferensikan vektor presisi penuh dalam indeks.

Rekomendasi menilai ulang skor:

• Untuk kuantisasi skalar, pertahankan vektor presisi penuh asli dalam indeks karena diperlukan untuk penilaian ulang.

• Untuk kuantisasi biner, pertahankan vektor presisi penuh asli untuk kualitas penilaian kembali tertinggi, atau abaikan vektor presisi penuh jika Anda ingin menilai kembali berdasarkan hasil perkalian titik dari penyematan biner.

Properti rescoreStorageMethod mengontrol apakah vektor presisi penuh disimpan. Dalam vectorSearch.compressions, properti rescoreStorageMethod diatur ke preserveOriginals secara default, yang mempertahankan vektor presisi penuh untuk kemampuan oversampling dan rescoring guna mengurangi efek kompresi lossy pada grafik HNSW. Jika Anda tidak perlu melakukan rescoring, jika Anda menggunakan kuantisasi biner dan produk titik untuk penilaian ulang, Anda dapat mengurangi penyimpanan vektor dengan mengatur rescoreStorageMethod ke discardOriginals.

Untuk mengatur properti ini:

1. Gunakan Buat Indeks atau Buat atau Perbarui Indeks REST API, atau Azure SDK.

2. vectorSearch Tambahkan bagian ke indeks Anda dengan profil, algoritma, dan kompresi.

3. Di bawah vectorSearch.compressions, tambahkan rescoringOptions dengan enableRescoring diatur ke true, defaultOversampling atur ke bilangan bulat positif, dan rescoreStorageMethod atur ke discardOriginals untuk kuantisasi biner dan preserveOriginals untuk kuantisasi skalar.

   PUT https://[service-name].search.windows.net/indexes/demo-index?api-version=2026-04-01
   
   {
       "name": "demo-index",
       "fields": [. . . ],
       . . .
       "vectorSearch": {
           "profiles": [
               {
               "name": "myVectorProfile-1",
               "algorithm": "myHnsw",
               "compression": "myScalarQuantization"
               },
               {
               "name": "myVectorProfile-2",
               "algorithm": "myHnsw",
               "compression": "myBinaryQuantization"
               }
           ],
           "algorithms": [
             {
               "name": "myHnsw",
               "kind": "hnsw",
               "hnswParameters": {
                 "metric": "cosine",
                 "m": 4,
                 "efConstruction": 400,
                 "efSearch": 500
               },
               "exhaustiveKnnParameters": null
             }
           ],
           "compressions": [
               {
                   "name": "myScalarQuantization",
                   "kind": "scalarQuantization",
                   "rescoringOptions": {
                       "enableRescoring": true,
                       "defaultOversampling": 10,
                       "rescoreStorageMethod": "preserveOriginals"
                   },
                   "scalarQuantizationParameters": {
                       "quantizedDataType": "int8"
                   },
                   "truncationDimension": null
               },
               {
                   "name": "myBinaryQuantization",
                   "kind": "binaryQuantization",
                   "rescoringOptions": {
                       "enableRescoring": true,
                       "defaultOversampling": 10,
                       "rescoreStorageMethod": "discardOriginals"
                   },
                   "truncationDimension": null
               }
           ]
       }
   }