Impor data dalam Pencarian Azure AI

Catatan

Pencarian Azure AI tersedia melalui portal Azure, REST API, dan Azure SDK. Ini juga mendukung Foundry IQ, lapisan pengetahuan terkelola yang mengubah konten perusahaan menjadi pangkalan pengetahuan yang dapat digunakan kembali dan sadar izin untuk agen di portal Microsoft Foundry.

Dalam Pencarian Azure AI, kueri dijalankan melalui konten yang dimuat ke dalam indeks pencarian, atau lebih dari sumber pengetahuan jarak jauh jika Anda menggunakan pengambilan menggunakan agen.

Artikel ini menjelaskan dua alur kerja dasar untuk mengisi indeks pada search service: push data Anda ke dalam indeks secara terprogram, atau pull dalam data menggunakan pengindeks search.

Kedua pendekatan memuat dokumen dari sumber data eksternal. Meskipun Anda dapat membuat indeks kosong, indeks tersebut tidak dapat dikueri sampai Anda menambahkan konten.

Catatan

Jika pengayaan AI atau vektorisasi terintegrasi adalah persyaratan solusi, Anda harus menggunakan model penarikan (pengindeks) untuk memuat indeks. Kemampuan melekat pada indeks dan tidak berjalan secara independen.

Mendorong data ke indeks

Model pendorongan menggunakan API untuk mengunggah dokumen ke indeks pencarian yang ada. Anda dapat mengunggah dokumen satu per satu atau dalam batch, hingga 1.000 dokumen atau 16 MB per batch, mana pun yang lebih dulu.

Keuntungan utamanya meliputi:

  • Tidak ada batasan pada jenis sumber data. Payload harus terdiri dari dokumen JSON yang memetakan ke skema indeks Anda, tetapi data dapat bersumber dari mana saja.

  • Tidak ada batasan frekuensi eksekusi. Anda dapat mendorong perubahan ke indeks sesering yang Anda inginkan. Untuk aplikasi yang memiliki persyaratan latensi rendah (misalnya, ketika indeks perlu sinkron dengan fluktuasi inventarisasi produk), model pendorongan adalah satu-satunya opsi Anda.

  • Konektivitas dan pengambilan dokumen yang aman sepenuhnya berada di bawah kendali Anda. Sebaliknya, koneksi pengindeks diautentikasi menggunakan fitur keamanan yang disediakan dalam Pencarian Azure AI.

Cara mengirimkan data ke indeks Pencarian Azure AI

Gunakan API berikut untuk memuat satu atau beberapa dokumen ke dalam indeks:

Tidak ada dukungan untuk mendorong data melalui portal Azure.

Untuk pengenalan API pendorongan, lihat:

Tindakan pengindeksan: mengunggah, menggabungkan, mergeOrUpload, menghapus

Anda bisa mengontrol tipe tindakan pengindeksan berdasarkan per dokumen, menentukan apakah dokumen harus diunggah secara penuh, digabungkan dengan konten dokumen yang sudah ada, atau dihapus.

Baik Anda menggunakan REST API atau SDK Azure, operasi dokumen berikut ini didukung untuk impor data:

  • Unggah, mirip dengan "upsert" di mana dokumen disisipkan jika baru, dan diperbarui atau diganti jika ada. Jika dokumen kehilangan nilai yang diperlukan indeks, nilai bidang dokumen diatur ke null.

  • gabungkan pembaruan pada dokumen yang sudah ada, dan gagal jika dokumen tidak dapat ditemukan. Penggabungan menggantikan nilai yang ada. Untuk alasan ini, pastikan untuk memeriksa bidang koleksi yang berisi beberapa nilai, seperti bidang jenis Collection(Edm.String). Misalnya, jika bidang tags dimulai dengan nilai ["budget"] dan Anda melakukan penggabungan dengan ["economy", "pool"], maka nilai akhir bidang tags adalah ["economy", "pool"]. Tidak akan terjadi ["budget", "economy", "pool"].

  • mergeOrUpload berulah seperti penggabungan jika dokumen ada, dan unggah jika dokumen baru.

  • hapus menghapus seluruh dokumen dari indeks. Jika Anda ingin menghapus bidang individual, gunakan gabungkan sebagai gantinya, atur bidang yang bersangkutan ke null.

Menarik data ke dalam indeks

Model penarikan menggunakan pengindeks dan alur kerja Logic Apps yang terhubung ke sumber data yang didukung, secara otomatis mengunggah data ke dalam indeks Anda.

Pengindeks dari Microsoft tersedia untuk platform ini:

Jika Anda mengonfigurasi sumber pengetahuan yang diindeks untuk pengambilan secara agen, Pencarian Azure AI membuat alur kerja pengindeks dan memuat indeks menggunakan properti di sumber pengetahuan.

Anda juga dapat menggunakan alur kerja Logic Apps atau konektor pihak ketiga, yang dikembangkan dan dikelola oleh mitra Microsoft. Untuk informasi dan tautan selengkapnya, lihat Galeri sumber data.

Dengan pendekatan otomatis ini, Anda menyambungkan indeks Anda ke sumber data (biasanya tabel, tampilan, kontainer, atau struktur yang setara), dan memetakan bidang sumber ke bidang yang setara dalam indeks. Selama eksekusi, rowset secara otomatis diubah menjadi JSON dan dimuat ke dalam indeks yang ditentukan. Semua pengindeks mendukung jadwal sehingga Anda dapat menentukan seberapa sering data akan di-refresh. Sebagian besar pengindeks menyediakan change tracking jika sumber data mendukungnya. Dengan melacak perubahan dan menghapus dokumen yang ada selain mengenali dokumen baru, pengindeks menghapus kebutuhan untuk mengelola data secara aktif dalam indeks Anda.

Cara menarik data ke dalam indeks Pencarian Azure AI

Gunakan alat dan API berikut untuk pengindeksan berbasis pengindeks:

Fungsionalitas pengindeks diekspos dalam Azure portal, REST API, dan .NET SDK.

Keuntungan menggunakan Azure portal adalah bahwa Pencarian Azure AI biasanya dapat menghasilkan skema indeks default dengan membaca metadata himpunan data sumber.

Memverifikasi impor data denganpenjelajah Pencarian

Cara cepat untuk melakukan pemeriksaan awal pada unggahan dokumen adalah dengan menggunakan Search explorer di Azure portal.

Screenshot perintah Search Explorer di portal Azure.

Penjelajah memungkinkan Anda mengkueri indeks tanpa harus menulis kode apa pun. Pengalaman pencarian didasarkan pada pengaturan default, seperti sintaks simple dan parameter kueri searchMode default. Hasil dikembalikan di JSON sehingga Anda dapat memeriksa seluruh dokumen.

Berikut adalah contoh kueri yang bisa Anda jalankan di Search Explorer dalam tampilan JSON. "HotelId" adalah kunci dokumen dari indeks sampel hotel. Filter menyediakan ID dokumen dari dokumen tertentu:

{
  "search": "*",
  "filter": "HotelId eq '50'"
}

Jika Anda menggunakan REST, kueri Pencarian ini mencapai tujuan yang sama.

Konten terkait

  • Terakhir diperbarui pada