Wizard impor data di portal Azure

Wizard Import data di portal Azure menyediakan jalur tanpa kode ke indeks pencarian yang dapat dikueri. Ini terhubung ke sumber data yang didukung, mengonfigurasi pengayaan dan vektorisasi AI opsional, menyimpulkan skema indeks, dan memuat konten ke dalam indeks. Anda dapat menggunakan panduan untuk pencarian kata kunci, RAG, dan RAG multimodal.

Wizard mendukung:

• Pembuatan alur pengindeks, termasuk indeks, pengindeks, sumber data, dan set keterampilan.
• Pengindeks bawaan dan konektor Azure Logic Apps.
• Pengayaan AI berbasis keterampilan.
• Pemotongan data dan vektorisasi terintegrasi, termasuk penyematan multimodal.
• Konfigurasi peringkat semantik.
• Pembuatan penyimpanan pengetahuan.

Apa yang didukung wizard

Bagian ini menjelaskan kemampuan yang tersedia dalam wizard.

Data sampel bawaan

Data sampel bawaan untuk indeks sampel hotel tidak lagi tersedia. Namun, Anda dapat membuat indeks yang identik dengan mengikuti Quickstart: Pencarian teks lengkap di portal Azure.

Sumber data

Wizard tersambung ke sumber data berikut melalui pengindeks bawaan atau konektor Logic Apps.

Keahlian

Keterampilan berikut mungkin muncul dalam set keterampilan yang dihasilkan wizard. Setelah set keterampilan dibuat, Anda dapat memodifikasi definisi JSON-nya untuk menambahkan atau menghapus keterampilan.

Peringkat semantik

Peringkat semantik tersedia untuk semua skenario panduan: pencarian kata kunci, RAG, dan RAG multimodal. Jika Anda mengaktifkannya, wizard akan menambahkan konfigurasi semantik ke indeks.

Penyimpanan pengetahuan

Pembuatan penyimpanan pengetahuan hanya tersedia untuk skenario RAG multimodal. Wizard mengekstrak gambar dari dokumen Anda dan menyimpannya sebagai blob dalam kontainer Azure Storage yang Anda tentukan.

Apa yang dibuat wizard

Saat Anda menyelesaikan wizard, wizard tersebut akan membuat beberapa objek pada layanan pencarian Anda. Objek yang tepat bergantung pada opsi yang Anda pilih. Misalnya, jika Anda menerapkan pengayaan berbasis keterampilan, set keterampilan dibuat.

Untuk melihat objek ini setelah asisten selesai menjalankan:

1. Buka layanan pencarian Anda di portal Azure.
2. Dari panel kiri, pilih Manajemen pencarian untuk menemukan halaman untuk indeks, pengindeks, sumber data, dan set keterampilan.

Manfaat dan batasan

Bagian ini membahas pro dan kontra dari pengalaman wizard. Gunakan informasi ini untuk memutuskan kapan menggunakan wizard dan kapan harus mempertimbangkan alternatif, seperti pendekatan terprogram menggunakan REST API atau Azure SDK.

Keuntungan

Sebelum menulis kode apa pun, Anda bisa menggunakan wizard untuk membuat prototipe dan pengujian bukti konsep. Wizard tersambung ke sumber data eksternal, mengambil sampel data untuk membuat indeks awal, lalu mengimpor dan secara opsional memfaktorkan data sebagai dokumen JSON ke dalam indeks pada Pencarian Azure AI.

Jika Anda mengevaluasi kumpulan keterampilan, wizard mengelola pemetaan kolom output dan menambahkan fungsi bantu untuk membuat objek yang siap digunakan. Pemisahan Teks ditambahkan saat Anda menentukan mode penguraian. Penggabungan Teks ditambahkan saat Anda memilih analisis gambar sehingga wizard dapat menyatukan kembali deskripsi teks dengan konten gambar. Semua tugas ini dilengkapi dengan kurva pembelajaran. Jika Anda baru dalam pengayaan, memiliki langkah-langkah ini yang ditangani untuk Anda memungkinkan Anda mengukur nilai keterampilan tanpa menginvestasikan banyak waktu dan upaya.

Pengambilan sampel adalah proses di mana skema indeks disimpulkan, yang memiliki beberapa batasan. Saat sumber data dibuat, wizard memilih sampel dokumen acak untuk memutuskan kolom apa yang merupakan bagian dari sumber data. Tidak semua file dibaca, karena dapat memakan waktu berjam-jam untuk sumber data besar. Mengingat pilihan dokumen, metadata sumber (seperti nama bidang atau jenis) digunakan untuk membuat kumpulan bidang dalam skema indeks. Berdasarkan kompleksitas data sumber, Anda mungkin perlu mengedit skema awal untuk akurasi atau memperluasnya untuk kelengkapan. Anda dapat membuat perubahan sebaris pada halaman definisi indeks.

Secara keseluruhan, keuntungan wizard jelas: selama persyaratan terpenuhi, Anda dapat membuat indeks yang dapat dikueri dalam hitungan menit. Wizard menangani beberapa kompleksitas pengindeksan, seperti menserialisasikan data sebagai dokumen JSON.

Batasan

• Wizard tidak mendukung perulangan atau penggunaan kembali. Setiap kali melewati wizard membuat indeks, keterampilan, dan konfigurasi pengindeks. Setelah menyelesaikan wizard, Anda bisa mengedit objek yang dibuat dengan menggunakan alat portal lain, REST API, atau Azure SDK.

• Konten sumber harus berada di sumber data yang didukung.

• Pengambilan sampel, digunakan untuk menyimpulkan skema indeks awal, terjadi melalui subset data sumber. Untuk sumber data besar, wizard mungkin melewatkan beberapa bidang. Jika pengambilan sampel tidak mencukupi, Anda mungkin perlu menambahkan bidang secara manual ke indeks atau memperbaiki jenis data yang disimpulkan.

• Pengayaan AI dan vektorisasi terintegrasi, seperti yang diekspos dalam wizard, terbatas pada subset keterampilan bawaan.

Sambungan yang aman

Perlindungan jaringan memengaruhi koneksi portal-ke-titik akhir dan juga koneksi titik akhir-ke-eksternal-sumber daya selama operasi portal.

Koneksi portal ke layanan pencarian

Koneksi portal ke titik akhir yang dilindungi jaringan dibuat menggunakan alamat IP klien Anda.

• Untuk layanan pencarian yang dilindungi firewall, tambahkan alamat IP klien Anda ke aturan inbound.

• Untuk layanan pencarian yang dikonfigurasi untuk titik akhir privat, gunakan browser pada komputer virtual yang diizinkan untuk membuka halaman portal dan menjalankan wizard.

• Untuk layanan pencarian yang terhubung ke perimeter keamanan jaringan, tambahkan alamat IP klien Anda ke aturan penerimaan.

Koneksi portal ke sumber daya eksternal

Wizard tersambung ke sumber daya eksternal untuk:

• Pengambilan data selama pengindeksan.
• Proses AI untuk pengayaan dan vektorisasi terintegrasi dilakukan oleh sumber daya atau model Microsoft Foundry.

Dari wizard, hampir setiap permintaan keluar untuk data yang dilindungi jaringan dan pemrosesan AI dibuat menggunakan alamat IP klien Anda.

Bagian ini menjelaskan persyaratan koneksi untuk permintaan keluar.

Mengonfigurasi akses portal ke sumber daya eksternal

• Sumber daya yang dilindungi IP: Tambahkan alamat IP klien Anda ke sumber daya allowListeksternal . Jika didukung, cantumkan Microsoft.Search/searchServices sebagai layanan tepercaya. Misalnya, di Azure Storage, Anda dapat mencantumkan Microsoft.Search/searchServices sebagai layanan tepercaya.

• Koneksi privat: Wizard menggunakan tautan privat bersama. Pastikan layanan pencarian Anda memenuhi persyaratan tingkat dan wilayah. Pastikan sumber data eksternal Anda didukung untuk link pribadi bersama.

Jika wizard tidak dapat terhubung, Anda akan melihat "Access denied due to Virtual Network/Firewall rules". Pertimbangkan pendekatan skrip atau terprogram sebagai alternatif.

Alur kerja

Panduan mengikuti alur kerja tingkat tinggi:

1. Sambungkan ke sumber data Azure yang didukung.

2. (Opsional) Tambahkan keterampilan untuk mengekstrak atau menghasilkan konten dan struktur.

3. Buat skema indeks, disimpulkan oleh data sumber pengambilan sampel.

4. Jalankan wizard untuk membuat objek, secara opsional mem-vektor data, memuat data ke dalam indeks, mengatur jadwal, dan mengonfigurasi opsi lainnya.

Alur kerja adalah alur satu arah. Anda tidak dapat menggunakan wizard untuk mengedit objek apa pun yang dibuat, tetapi Anda bisa menggunakan alat portal lain, seperti perancang indeks atau editor JSON, untuk membuat pembaruan yang diizinkan.

Memulai asisten

1. Buka layanan pencarian Anda di portal Azure.

2. Pada halaman Gambaran Umum , pilih Impor data.

   

   Wizard terbuka penuh di jendela browser, memberi Anda lebih banyak ruang untuk bekerja.

3. Pilih skenario: Pencarian kata kunci, RAG, atau RAG Multimodal.

   Skenario yang Anda pilih menentukan sumber data dan keterampilan yang tersedia, serta skema indeks dan konfigurasi pengindeks yang dibuat oleh wizard.

4. Ikuti langkah-langkah yang tersisa untuk membuat indeks, pengindeks, dan objek lain yang berlaku.

Mengonfigurasi sumber data

Wizard tersambung ke sumber data eksternal yang didukung menggunakan logika internal yang disediakan oleh pengindeks, yang dilengkapi untuk mengambil sampel dari sumber, membaca metadata, memilah dokumen untuk memahami konten dan struktur, dan menyusun konten menjadi JSON untuk diimpor berikutnya ke Pencarian Azure AI.

Tidak semua sumber data pratinjau dijamin tersedia dalam wizard. Karena setiap sumber data berpotensi memperkenalkan perubahan di hilir, sumber data pratinjau hanya ditambahkan ketika sepenuhnya mendukung semua pengalaman wizard, seperti definisi skillset dan inferensi skema indeks.

Anda hanya bisa mengimpor dari satu tabel, tampilan database, atau struktur data yang setara. Namun, struktur dapat mencakup substruktur hierarkis atau berlapis. Untuk informasi selengkapnya, lihat Cara memodelkan jenis kompleks.

Mengonfigurasi set keterampilan

Konfigurasi skillset terjadi setelah definisi sumber data karena jenis sumber data menginformasikan ketersediaan keterampilan bawaan tertentu. Misalnya, jika Anda mengindeks file dari Azure Blob Storage, mode penguraian yang Anda pilih untuk file tersebut menentukan apakah analisis sentimen tersedia.

Wizard tidak hanya menambahkan keterampilan yang Anda pilih tetapi juga keterampilan yang diperlukan untuk hasil yang sukses.

Skillset bersifat opsional, dan ada tombol di bagian bawah halaman untuk melompat ke depan jika Anda tidak ingin pengayaan AI.

Mengonfigurasi skema indeks

Wizard mengambil sampel sumber data Anda untuk mendeteksi bidang dan jenis bidang. Bergantung pada sumber data, mungkin juga menawarkan bidang untuk mengindeks metadata.

Karena pengambilan sampel adalah latihan yang tidak akurat, tinjau indeks dengan pertimbangan berikut:

1. Apakah daftar kolom akurat? Jika sumber data Anda berisi bidang yang tidak diambil dalam pengambilan sampel, Anda dapat menambahkan bidang yang terlewat secara manual. Anda juga dapat menghapus bidang yang tidak menambahkan nilai ke pengalaman pencarian atau tidak akan digunakan dalam ekspresi filter atau profil penilaian.

2. Apakah tipe data sesuai untuk data masuk? Pencarian Azure AI mendukung model data entity (EDM) jenis data. Untuk data Azure SQL, ada bagan mapping yang menjabarkan nilai yang setara. Untuk informasi selengkapnya, lihat Pemetaan dan transformasi bidang.

3. Apakah Anda memiliki satu bidang yang dapat berfungsi sebagai kunci? Bidang ini harus berupa Edm.String yang secara unik mengidentifikasi dokumen. Untuk data relasional, data mungkin dipetakan ke kunci primer. Untuk blob, mungkin metadata-storage-path. Jika nilai bidang menyertakan spasi atau tanda hubung, Anda harus mengatur opsi Kunci Enkode Base-64 di langkah Buat pengindeks , di bawah Opsi tingkat lanjut, untuk menekan pemeriksaan validasi untuk karakter ini.

4. Atur atribut untuk menentukan bagaimana bidang tersebut digunakan dalam indeks.

   Luangkan waktu Anda dengan langkah ini karena atribut menentukan ekspresi fisik bidang dalam indeks. Jika Anda ingin mengubah atribut nanti, bahkan secara terprogram, Anda hampir selalu perlu menghilangkan dan membangun kembali indeks. Atribut inti seperti Searchable dan Retrievable memiliki efek yang dapat diabaikan pada penyimpanan. Mengaktifkan filter dan menggunakan pemberi saran meningkatkan persyaratan storage.

   • Dapat dicari memungkinkan pencarian teks-penuh. Setiap bidang yang digunakan dalam kueri bentuk bebas atau dalam ekspresi kueri harus memiliki atribut ini. Indeks terbalik dibuat untuk setiap bidang yang Anda tandai sebagai Dapat Dicari.

   • Dapat Diambil mengembalikan bidang dalam hasil pencarian. Setiap bidang yang menyediakan konten untuk hasil pencarian harus memiliki atribut ini. Mengatur bidang ini tidak mempengaruhi ukuran indeks secara signifikan.

   • Dapat difilter memungkinkan bidang direferensikan dalam ekspresi filter. Setiap bidang yang digunakan dalam ekspresi $filter harus memiliki atribut ini. Pernyataan filter adalah untuk kecocokan yang tepat. Karena string teks tetap utuh, diperlukan lebih banyak storage untuk mengakomodasi konten verbatim.

   • Facetable memungkinkan bidang untuk navigasi terarah faset. Hanya bidang yang juga ditandai sebagai Dapat Difilter yang dapat ditandai sebagai Facetable.

   • Dapat diurutkan memungkinkan bidang digunakan dalam urutan. Setiap bidang yang digunakan dalam ekspresi $Orderby harus memiliki atribut ini.

5. Apakah Anda memerlukan analisis leksikal? Untuk bidang Edm.String yang Dapat Dicari, Anda dapat mengatur Analyzer jika Anda ingin pengindeksan dan kueri yang ditingkatkan bahasanya.

   Defaultnya adalah Standard Lucene, tetapi Anda dapat memilih Microsoft bahasa Inggris jika Anda ingin menggunakan penganalisis Microsoft untuk pemrosesan leksikal tingkat lanjut, seperti menyelesaikan bentuk kata benda dan kata kerja yang tidak teratur. Hanya penganalisis bahasa yang dapat ditentukan di portal Azure. Jika Anda ingin menggunakan penganalisis kustom atau penganalisis non-bahasa, seperti Kata Kunci atau Pola, Anda harus membuatnya secara terprogram. Untuk informasi selengkapnya, lihat Menambahkan penganalisis bahasa.

6. Apakah Anda memerlukan fungsionalitas 'typeahead', berupa lengkapi otomatis atau hasil yang disarankan? Pilih kotak centang Suggester untuk mengaktifkan saran kueri typeahead dan lengkapi otomatis pada bidang yang dipilih. Pemberi saran menambah jumlah istilah yang ditokenisasi dalam indeks Anda dan dengan demikian menggunakan lebih banyak penyimpanan.

Mengonfigurasi pengindeks

Halaman terakhir dari wizard mengumpulkan input pengguna untuk konfigurasi pengindeks. Anda dapat menentukan jadwal dan mengatur opsi lain yang bervariasi menurut jenis sumber data.

Secara internal, panduan menyiapkan definisi berikut, yang tidak terlihat di pengindeks hingga setelah selesai dibuat.

• Pemetaan bidang antara sumber data dan indeks.
• Pemetaan bidang output antara output keterampilan dan indeks.

Coba panduan

Cara terbaik untuk memahami manfaat dan batasan wizard Impor data adalah dengan mengikutinya langkah demi langkah. Panduan memulai cepat berikut ini didasarkan pada wizard.

• Quickstart: Pencarian teks lengkap di portal Azure
• Memulai dengan Cepat: Pencarian Vektor di Portal Azure
• Panduan Cepat: Pencarian multimodal di portal Azure
• Quickstart: Membuat set keterampilan di portal Azure