Menetapkan jenis data sempit ke bidang vektor di Pencarian Azure AI

Cara mudah untuk mengurangi ukuran vektor adalah dengan menyimpan penyematan dalam format data yang lebih kecil. Sebagian besar model penyematan menghasilkan angka titik mengambang 32-bit. Namun, jika Anda mengukur vektor atau menggunakan model penyematan yang secara asli mendukung kuantisasi, outputnya mungkin float16, int16, atau int8, yang secara signifikan lebih kecil dari float32. Anda dapat mengakomodasi ukuran vektor yang lebih kecil ini dengan menetapkan jenis data sempit ke bidang vektor. Dalam indeks vektor, jenis data sempit mengonsumsi lebih sedikit penyimpanan.

Anda menetapkan jenis data ke bidang dalam definisi indeks. Gunakan portal Microsoft Azure, REST API Layanan Pencarian, atau paket Azure SDK yang menyediakan fitur tersebut.

Prasyarat

• Model penyematan yang menghasilkan format data kecil, seperti text-embedding-3 atau model penyematan Cohere V3.

Jenis data sempit yang didukung

1. Tinjau jenis data yang digunakan untuk bidang vektor untuk penggunaan yang direkomendasikan:

   • Collection(Edm.Single): Titik mengambang 32-bit (default)
   • Collection(Edm.Half): Titik mengambang 16-bit (sempit)
   • Collection(Edm.Int16): Bilangan bulat bertanda tangan 16-bit (sempit)
   • Collection(Edm.SByte): Bilangan bulat bertanda tangan 8-bit (terbatas)
   • Collection(Edm.Byte): Bilangan bulat 8-bit yang tidak ditandatangani (hanya diperbolehkan dengan jenis data biner yang dikemas)

2. Dari daftar tersebut, tentukan jenis data mana yang valid untuk output model penyematan Anda atau untuk vektor yang menjalani kuantisasi kustom.

   Tabel berikut ini menyediakan tautan ke beberapa model penyematan yang dapat menggunakan jenis data sempit, Collection(Edm.Half), tanpa kuantisasi tambahan. Anda dapat melemparkan dari float32 ke float16 menggunakan Collection(Edm.Half) tanpa pekerjaan tambahan.

   Model penyematan	Output bawaan	Tetapkan jenis ini di Pencarian Azure AI
   text-embedding-ada-002	Float32	Collection(Edm.Single) atau Collection(Edm.Half)
   text-embedding-3-small	Float32	Collection(Edm.Single) atau Collection(Edm.Half)
   penyematan-teks-3-besar	Float32	Collection(Edm.Single) atau Collection(Edm.Half)
   Model penyematan Cohere V3 dengan tipe penyematan int8	Int8	Collection(Edm.SByte)

   Anda dapat menggunakan jenis data yang lebih sempit lainnya jika model Anda menghasilkan pemetaan dalam format data yang lebih kecil atau jika Anda memiliki kuantisasi kustom yang mengubah vektor ke format yang lebih kecil.

3. Pahami kompromi-kompromi dari jenis data yang terbatas. Collection(Edm.Half) memiliki lebih sedikit informasi, yang menghasilkan resolusi yang lebih rendah. Jika data Anda homogen atau padat, kehilangan detail atau nuansa tambahan dapat menyebabkan hasil yang tidak dapat diterima pada waktu kueri karena ada lebih sedikit detail yang dapat digunakan untuk membedakan vektor terdekat.

Menetapkan jenis data

Tentukan dan buat indeks. Anda dapat menggunakan portal Microsoft Azure, Indeks - Buat Atau Perbarui (REST API), atau paket Azure SDK untuk langkah ini.

Definisi bidang ini menggunakan jenis data sempit, Collection(Edm.Half), yang menerima penyematan float32 yang disimpan sebagai nilai float16. Seperti halnya semua bidang vektor, atur properti dimensions dan vectorSearchProfile. Spesifikasi vectorSearchProfile tidak relevan terhadap tipe data.

Atur retrievable dan stored ke true jika Anda ingin memeriksa nilai bidang secara visual. Pada build ulang berikutnya, Anda dapat mengubah properti ini menjadi false untuk mengurangi kebutuhan penyimpanan.

{
    "name": "nameEmbedding",
    "type": "Collection(Edm.Half)",
    "searchable": true,
    "filterable": false,
    "retrievable": true,
    "sortable": false,
    "facetable": false,
    "key": false,
    "indexAnalyzer": null,
    "searchAnalyzer": null,
    "analyzer": null,
    "synonymMaps": [],
    "dimensions": 1536,
    "vectorSearchProfile": "myHnswProfile"
}

Ingat bahwa bidang vektor tidak dapat difilter, dapat diurutkan, atau dapat difaset. Mereka tidak dapat digunakan sebagai kunci dan tidak menggunakan penganalisis atau peta sinonim.

Bekerja dengan indeks produksi

Anda menetapkan jenis data pada bidang baru saat dibuat. Anda tidak dapat mengubah tipe data dari bidang yang sudah ada, dan Anda tidak dapat menghilangkan bidang tanpa membangun kembali indeks. Untuk indeks yang sudah dibuat dalam produksi, solusi umum adalah membuat bidang baru dengan revisi yang diinginkan lalu menghapus bidang usang selama pembangunan ulang indeks yang direncanakan.

Memeriksa hasil

1. Verifikasi konten bidang cocok dengan jenis data. Dengan asumsi bidang vektor ditandai sebagai retrievable, gunakan Search explorer atau Search - POST (REST API) untuk mengembalikan konten bidang vektor.

2. Untuk memeriksa ukuran indeks vektor, lihat kolom ukuran indeks vektor di halaman Indeks manajemen > pencarian di portal Microsoft Azure. Anda juga dapat menggunakan Indeks - Dapatkan Statistik (REST API) atau metode Azure SDK yang setara.