Mengindeks vektor biner untuk pencarian vektor

Note

Pencarian Azure AI tersedia melalui portal Azure, REST API, dan Azure SDK. Ini juga mendukung Foundry IQ, lapisan pengetahuan terkelola yang mengubah konten perusahaan menjadi pangkalan pengetahuan yang dapat digunakan kembali dan sadar izin untuk agen di portal Microsoft Foundry.

Pencarian Azure AI mendukung jenis biner yang dikemas Collection(Edm.Byte) untuk lebih mengurangi penyimpanan dan jejak memori data vektor. Anda dapat menggunakan jenis data ini untuk output model seperti model penyematan biner Cohere's Embed v3 atau model atau proses penyematan lainnya yang menghasilkan vektor sebagai byte biner.

Ada tiga langkah untuk mengonfigurasi indeks untuk vektor biner:

  • Menambahkan algoritma pencarian vektor yang menentukan jarak Hamming untuk perbandingan vektor biner
  • Menambahkan profil vektor yang menunjuk ke algoritma
  • Tambahkan bidang vektor jenis Collection(Edm.Byte) dan tetapkan jarak Hamming

Artikel ini menggunakan REST API untuk ilustrasi, tetapi Anda juga dapat menggunakan Azure SDK atau portal Azure untuk menambahkan bidang biner ke indeks. Anda menetapkan jenis data biner ke bidang dengan menggunakan Indeks - Buat atau Indeks - Buat Atau Perbarui REST API.

Tips

Jika Anda menyelidiki dukungan vektor biner untuk jejaknya yang lebih kecil, Anda mungkin juga mempertimbangkan fitur kuantisasi vektor dan pengurangan penyimpanan di Pencarian Azure AI. Input adalah penyematan float32 atau float16. Data output disimpan dalam format yang jauh lebih kecil. Untuk informasi selengkapnya, lihat Memadatkan menggunakan kuantisasi biner atau skalar dan Menetapkan jenis data sempit.

Prasyarat

  • Keakraban dengan membuat indeks dan menambahkan bidang vektor.

  • Vektor biner, dengan satu bit per dimensi, dikemas dalam nilai uint8 dengan delapan bit per nilai. Anda bisa mendapatkan vektor ini dengan menggunakan model yang secara langsung menghasilkan vektor biner paket atau dengan mengukur vektor ke dalam vektor biner di aplikasi klien Anda selama pengindeksan dan pengambilan.

Keterbatasan

  • Tidak ada dukungan portal Azure di wizard Laporkan data.

  • Tidak ada dukungan untuk bidang biner dalam keterampilan AML yang digunakan untuk vektorisasi model terintegrasi dari katalog model Microsoft Foundry.

Menambahkan algoritma pencarian vektor dan profil vektor

Algoritma pencarian vektor membuat struktur navigasi kueri selama pengindeksan. Untuk bidang vektor biner, sistem menggunakan metrik jarak Hamming untuk melakukan perbandingan vektor.

Untuk mengonfigurasi pencarian vektor biner:

  1. Siapkan permintaan Indeks - Buat atau Perbarui (REST API).

  2. Dalam skema indeks, tambahkan vectorSearch bagian yang menentukan profil dan algoritma.

  3. Tambahkan satu atau beberapa algoritma pencarian vektor yang menggunakan metrik kesamaan .hamming Algoritma Hierarkis Navigable Small Worlds (HNSW) umum, tetapi Anda juga dapat menggunakan jarak Hamming dengan K-Nearest Neighbors (KNN) yang lengkap.

  4. Tambahkan satu atau beberapa profil vektor yang menentukan algoritma.

Contoh berikut menunjukkan konfigurasi dasar vectorSearch .

  "vectorSearch": { 
    "profiles": [ 
      { 
        "name": "myHnswProfile", 
        "algorithm": "myHnsw", 
        "compression": null, 
        "vectorizer": null 
      } 
    ], 
    "algorithms": [ 
      { 
        "name": "myHnsw", 
        "kind": "hnsw", 
        "hnswParameters": { 
          "metric": "hamming" 
        } 
      }, 
      { 
        "name": "myExhaustiveKnn", 
        "kind": "exhaustiveKnn", 
        "exhaustiveKnnParameters": { 
          "metric": "hamming" 
        } 
      } 
    ] 
  }

Menambahkan bidang biner ke indeks

Kumpulan bidang indeks harus menyertakan bidang untuk kunci dokumen, bidang vektor, dan bidang lain yang Anda butuhkan untuk skenario pencarian hibrid.

Bidang biner menggunakan jenis Collection(Edm.Byte) dan berisi penyematan dalam bentuk terkemas. Misalnya, jika dimensi penyematan asli adalah 1024, panjang vektor biner yang dikemas adalah ceiling(1024 / 8) = 128. Anda mendapatkan bentuk yang terkompres dengan mengatur properti vectorEncoding pada kolom.

Untuk menambahkan bidang vektor biner ke indeks:

  1. Tambahkan bidang ke kumpulan bidang dan beri nama.

  2. Atur jenis data ke Collection(Edm.Byte).

  3. Atur vectorEncoding ke packedBit untuk pengodean biner.

  4. Atur dimensions ke 1024. Tentukan dimensi vektor asli (tidak dikemas).

  5. Atur vectorSearchProfile ke profil yang Anda tentukan di langkah sebelumnya.

  6. Atur searchable ke true.

Definisi bidang berikut adalah contoh bidang vektor biner dalam skema indeks.

  "fields": [ 
    . . . 
    { 
      "name": "my-binary-vector-field", 
      "type": "Collection(Edm.Byte)", 
      "vectorEncoding": "packedBit", 
      "dimensions": 1024, 
      "vectorSearchProfile": "myHnswProfile",
      "searchable": true
    },
   . . . 
  ]

Konten terkait

  • Terakhir diperbarui pada