Pertanyaan Umum tentang Pencarian Azure AI

Pencarian Azure AI menyediakan mesin pencari khusus dan penyimpanan persisten konten yang dapat dicari untuk skenario pencarian agenik, teks lengkap, dan vektor. Ini juga termasuk AI terintegrasi opsional untuk mengekstrak teks dan struktur dari konten mentah dan untuk memotong dan mem-vektor konten untuk pencarian vektor.

Alur kerja utama adalah membuat, memuat, dan mengkueri indeks. Meskipun Anda dapat menggunakan portal Azure untuk sebagian besar tugas, Pencarian Azure AI dimaksudkan untuk digunakan secara terprogram, menangani permintaan dari kode klien. Dukungan terprogram diberikan melalui REST API dan pustaka klien di SDK .NET, Python, Java, dan JavaScript untuk Azure.

Ya. Mereka semua produk yang sama, dengan rebranding terjadi pada Oktober 2019 dan lagi pada Oktober 2023. Anda mungkin kadang-kadang melihat bukti nama-nama sebelumnya pada tingkat programatis.

Untuk vektor, model penyematan yang Anda gunakan menentukan pengalaman linguistik.

Untuk string dan angka nonvektor, penganalisis default yang digunakan untuk tokenisasi adalah Lucene standar, yang merupakan agnostik bahasa. Jika tidak, dukungan bahasa dinyatakan melalui penganalisis bahasa yang menerapkan aturan linguistik ke konten masuk (pengindeksan) dan keluar (kueri). Beberapa fitur, seperti ejaan dan penulisan ulang kueri, terbatas pada subset bahasa.

Kode klien harus memanggil pustaka klien Azure SDK atau REST API untuk menyambungkan ke indeks pencarian, merumuskan kueri, dan menangani respons. Anda juga dapat menulis kode yang membangun dan merefresh indeks, atau yang menjalankan pengindeks secara terprogram atau melalui skrip.

Anda tidak dapat menjeda layanan pencarian. Dalam Pencarian Azure AI, sumber daya komputasi dialokasikan saat layanan dibuat. Tidak dimungkinkan untuk merilis dan mengklaim kembali sumber daya tersebut sesuai permintaan.

Layanan yang dibuat sebelum April 2024 di wilayah tertentu dapat ditingkatkan ke kluster dengan kapasitas yang lebih tinggi. Menurunkan tingkat layanan Anda tidak didukung.

Untuk mendapatkan kapasitas yang lebih atau kurang, Anda juga dapat beralih ke tingkat harga yang berbeda. Pengukuran diblokir jika konfigurasi layanan Anda saat ini melebihi batasan pada tingkatan sasaran atau jika wilayah Anda memiliki pembatasan kapasitas pada tingkatan sasaran. Saat ini, Anda hanya dapat beralih antara tingkat Dasar dan Standar (S1, S2, dan S3).

Nama dan wilayah layanan tetap selama masa pakai layanan.

Selama Anda mengikuti daftar periksa sebelum memindahkan sumber daya dan memastikan setiap langkah selesai, seharusnya tidak ada waktu henti.

Batas penyimpanan dapat bervariasi menurut tanggal pembuatan layanan. Di sebagian besar wilayah yang didukung, layanan yang lebih baru memiliki batas penyimpanan yang lebih tinggi daripada layanan yang lebih lama, bahkan jika mereka berada di tingkat yang sama. Namun, Anda mungkin dapat meningkatkan layanan lama Anda untuk mengakses batas baru.

Ini mengacu pada penyerapan, penguraian, dan penyimpanan konten tekstual dan token yang mengisi indeks pencarian. Pengindeksan membuat indeks terbalik dan struktur data fisik lainnya yang mendukung pengambilan informasi.

Ini membuat indeks vektor jika skema menyertakan bidang vektor.

Tidak ada dukungan bawaan untuk memporting indeks. Indeks pencarian dianggap sebagai struktur data hilir, menerima konten dari sumber data lain yang mengumpulkan data operasional. Oleh karena itu, tidak ada dukungan bawaan untuk mencadangkan dan memulihkan indeks. Harapannya adalah Anda akan membangun kembali indeks dari data sumber jika dihapus atau perlu dipindahkan.

Namun, jika Anda ingin memindahkan indeks antara layanan pencarian, Anda dapat mencoba sampel kode pencadangan dan pemulihan untuk .NET atau Python.

Tidak. Jika Anda menghapus indeks atau layanan Pencarian Azure AI, indeks atau layanan tersebut tidak dapat dipulihkan. Saat Anda menghapus layanan pencarian, semua indeks dalam layanan akan dihapus secara permanen.

Jika Anda menggunakan pengindeks pencarian untuk Azure SQL Database, tidak ada batasan penggunaan replika primer atau sekunder sebagai sumber data saat membangun indeks dari awal. Namun, menyegarkan indeks dengan pembaruan bertahap (berdasarkan data yang diubah) membutuhkan replika utama. Persyaratan ini berasal dari SQL Database, yang menjamin pelacakan perubahan pada replika utama saja. Jika Anda mencoba menggunakan replika sekunder untuk beban kerja refresh indeks, tidak ada jaminan Anda mendapatkan semua data.

Pencarian vektor adalah teknik yang menemukan dokumen paling mirip dengan membandingkan representasi vektor mereka. Karena tujuan representasi vektor adalah untuk menangkap karakteristik penting item dalam format numerik, kueri vektor dapat mengidentifikasi konten serupa, bahkan jika tidak ada kecocokan eksplisit berdasarkan kata kunci atau tag.

Saat pengguna melakukan pencarian, kueri diringkas ke dalam representasi vektor, dan mesin pencari vektor mengidentifikasi dokumen yang paling mirip. Untuk meningkatkan efisiensi pada database besar, pencarian vektor sering menyediakan Perkiraan Tetangga Terdekat (ANN) untuk vektor kueri. Untuk informasi selengkapnya, lihat pencarian Vector di Pencarian Azure AI.

Pencarian Azure AI mendukung pengindeksan dan pengambilan vektor. Ini dapat memecah dan memvektorisasi string dan konten kueri jika Anda menggunakan vektorisasi terintegrasi, yang bergantung pada pengindeks dan perangkat keterampilan.

Dengan pencarian vektor mandiri, Anda terlebih dahulu menggunakan model penyematan untuk mengubah konten menjadi representasi vektor dalam ruang penyematan. Anda kemudian dapat menyediakan vektor ini dalam payload dokumen ke indeks pencarian untuk pengindeksan. Untuk melayani permintaan pencarian, Anda menggunakan model penyematan yang sama untuk mengubah kueri pencarian menjadi representasi vektor, dan pencarian vektor menemukan vektor yang paling mirip dan mengembalikan dokumen yang sesuai.

Dalam Pencarian Azure AI, Anda dapat mengindeks data vektor sebagai bidang dalam dokumen bersama tekstual dan jenis konten lainnya. Ada beberapa jenis data untuk bidang vektor.

Kueri vektor dapat dikeluarkan mandiri atau dalam kombinasi dengan jenis kueri lain, termasuk kueri istilah dan filter dalam permintaan pencarian yang sama.

Vektorisasi terintegrasi bawaan sekarang tersedia secara umum.

Sebagian besar layanan yang ada mendukung pencarian vektor. Jika Anda menggunakan paket atau API yang mendukung pencarian vektor dan pembuatan indeks gagal, layanan pencarian yang mendasar tidak mendukung pencarian vektor, dan layanan baru harus dibuat. Ini dapat terjadi untuk subset kecil layanan yang dibuat sebelum 1 Januari 2019.

Jika layanan pencarian Anda mendukung pencarian vektor, indeks yang ada dan baru dapat mengakomodasi bidang vektor.

Pencarian Azure AI meluncurkan batas ukuran indeks vektor yang ditingkatkan di seluruh dunia untuk layanan pencarian baru, tetapi beberapa wilayah mengalami kendala kapasitas, dan beberapa wilayah tidak memiliki infrastruktur yang memadai. Layanan pencarian baru yang dibuat setelah Mei 2024 di wilayah yang didukung akan melihat peningkatan batas ukuran indeks vektor. Atau, jika Anda memiliki layanan yang sudah ada di wilayah yang didukung, Anda mungkin dapat meningkatkan layanan Anda untuk mengakses batas baru.

Hanya indeks vektor yang menggunakan algoritma Hierarkis Navigable Small World (HNSW) yang melaporkan ukuran indeks vektor di portal Azure. Jika indeks Anda menggunakan KNN lengkap, ukuran indeks vektor dilaporkan sebagai nol, meskipun indeks berisi vektor.

Untuk mengaktifkan pencarian vektor dalam indeks:

• Tambahkan satu atau beberapa bidang vektor ke kumpulan bidang.

• Tambahkan bagian "vectorSearch" ke skema indeks yang menentukan konfigurasi yang digunakan oleh bidang pencarian vektor, termasuk parameter algoritma ANN yang digunakan, seperti HNSW.

• Gunakan versi REST API stabil terbaru atau Azure SDK untuk membuat atau memperbarui indeks, memuat dokumen, dan menerbitkan kueri. Untuk informasi selengkapnya, lihat Membuat indeks vektor.

Kueri dijalankan melalui satu indeks pencarian yang dihosting di layanan pencarian Anda. Anda tidak dapat menggabungkan beberapa indeks untuk mencari konten dalam dua indeks atau lebih, tetapi Anda dapat kueri indeks nama yang sama di beberapa layanan pencarian.

Kasus yang paling umum tidak mengetahui bahwa setiap jenis kueri mendukung perilaku pencarian dan tingkat analisis linguistik yang berbeda. Pencarian teks lengkap, yang merupakan beban kerja dominan, mencakup fase analisis bahasa yang memecah istilah ke bentuk akar. Aspek penguraian kueri ini menyebarkan jaring yang lebih luas atas kemungkinan kecocokan, karena istilah yang ditokenisasi cocok dengan lebih banyak varian.

Namun, kueri wildcard, fuzzy, dan regex tidak dianalisis seperti kueri istilah atau frasa biasa dan dapat menyebabkan pengenalan yang buruk jika kueri tidak cocok dengan bentuk kata yang dianalisis dalam indeks pencarian. Untuk informasi selengkapnya tentang penguraian dan analisis kueri, lihat pencarian Full-text di Pencarian Azure AI.

Sebagian besar kueri pencarian wildcard, seperti awalan, fuzzy, dan regex, diubah secara internal menggunakan istilah-istilah yang cocok dalam indeks pencarian. Pemrosesan tambahan ini menambah latensi. Selain itu, kueri pencarian luas seperti a* kemungkinan akan ditulis ulang dengan banyak istilah, yang bisa lambat. Untuk pencarian wildcard yang berperforma baik, pertimbangkan untuk menentukan penganalisis khusus.

Tidak. Kueri selalu terbatas pada satu indeks.

Skor pencarian dihasilkan untuk kueri pencarian teks lengkap berdasarkan properti statistik istilah yang cocok dan diurutkan dari tinggi ke rendah dalam tataan hasil. Tipe kueri yang bukan pencarian teks lengkap (kartubebas, awalan, regex) tidak diberi peringkat oleh skor relevansi. Skor konstan memungkinkan kecocokan yang ditemukan melalui ekspansi kueri untuk disertakan dalam hasil tanpa memengaruhi peringkat.

Misalnya, anggaplah input "tur*" dalam pencarian wildcard menghasilkan kecocokan pada "tours", "tourettes", dan "tourmaline". Mengingat sifat hasil ini, tidak ada cara untuk secara wajar menyimpulkan istilah mana yang lebih berharga daripada yang lain. Untuk alasan ini, frekuensi istilah diabaikan ketika penilaian menghasilkan kueri tipe karakter pengganti, awalan, dan regex. Hasil pencarian berdasarkan input parsial diberi skor konstan untuk menghindari bias terhadap kecocokan tak terduga.

Ini menyimpan data Anda di lokasi geografis (Geo) tempat layanan Anda ditempatkan. Microsoft mungkin mereplikasi data Anda dalam geo yang sama untuk ketersediaan dan durabilitas tinggi. Untuk informasi selengkapnya, lihat Data Residency di Azure.

Ya. Kemampuan dan vektorisasi melakukan panggilan outbound dari Pencarian Azure AI ke sumber daya Azure lain atau model eksternal yang Anda tentukan untuk keperluan penyematan atau percakapan. Panggilan ke API tersebut biasanya berisi konten mentah untuk diproses atau kueri yang di-vektorisasi oleh model penyematan. Untuk koneksi Azure-ke-Azure, layanan mengirim permintaan melalui jaringan internal. Jika Anda menambahkan keterampilan kustom atau vektorizer, pengindeks mengirim konten ke URI yang disediakan dalam keterampilan kustom melalui jaringan publik kecuali Anda mengonfigurasi tautan privat bersama.

Pemrosesan (vektorisasi atau transformasi AI yang diterapkan) dilakukan di Geo yang menghosting sub-layanan Foundry Tools yang digunakan oleh keterampilan, aplikasi Azure, atau fungsi yang menghosting keterampilan kustom; atau di wilayah Azure OpenAI atau Microsoft Foundry yang menghosting model yang Anda sebarkan. Sumber daya ini ditentukan oleh Anda, sehingga Anda dapat memilih apakah akan menyebarkannya di Geo yang sama dengan layanan pencarian Anda atau tidak.

Jika Anda mengirim data ke model atau layanan eksternal (non-Azure), lokasi pemrosesan ditentukan oleh layanan eksternal.

Anda dapat jika menerapkan solusi yang mengaitkan dokumen dengan identitas pengguna. Biasanya, pengguna yang berwenang untuk menjalankan aplikasi Anda juga berwenang untuk melihat semua hasil pencarian. Pencarian Azure AI tidak memiliki dukungan bawaan untuk izin tingkat baris atau tingkat dokumen, tetapi Anda dapat menerapkan filter keamanan sebagai solusinya. Untuk langkah dan skrip, lihat Mulai: Mengobrol menggunakan data Anda sendiri (sampel Python).

Ya. Anda dapat menggunakan otorisasi berbasis peran untuk operasi sarana data melalui konten.

Anda dapat menggunakan portal Azure pada layanan pencarian yang dilindungi jaringan jika Anda membuat pengecualian jaringan yang memungkinkan akses klien dan portal. Untuk informasi selengkapnya, lihat Menyambungkan melalui firewall IP atau Menyambungkan melalui titik akhir privat.

Langkah berikutnya

Jika pertanyaan Anda tidak dijawab di sini, Anda dapat merujuk ke sumber berikut untuk pertanyaan dan jawaban lainnya.

Stack Overflow: Pencarian Azure AI
Cara pencarian teks lengkap berfungsi di Pencarian Azure AI
Apa itu Pencarian Azure AI?