Catatan transparansi: Pencarian Azure AI

Pengayaan AI adalah aplikasi model pembelajaran mesin dari Foundry Tools melalui konten yang tidak mudah dicari dalam bentuk mentahnya. Melalui pengayaan, analisis dan inferensi digunakan untuk membuat konten dan struktur yang dapat dicari di mana tidak ada sebelumnya.

Pengayaan AI adalah ekstensi opsional dari alur pengindeks Pencarian Azure AI yang terhubung ke Foundry Tools di wilayah yang sama dengan layanan pencarian pelanggan. Alur pengayaan memiliki komponen inti yang sama dengan pengindeks umum (pengindeks, sumber data, indeks), ditambah set keterampilan yang menentukan langkah-langkah pengayaan atomik. Set keterampilan dapat dirakit dengan menggunakan keterampilan bawaan berdasarkan API Foundry Tools, seperti Visi dan Bahasa, atau keterampilan kustom yang menjalankan kode eksternal yang Anda berikan.

Pencarian vektor adalah metode pengambilan informasi di mana dokumen dan kueri diwakili dalam indeks sebagai vektor alih-alih teks biasa. Dalam pencarian vektor, model pembelajaran mesin, yang dihosting secara eksternal dari Pencarian Azure AI, menghasilkan representasi vektor input sumber, yang dapat berupa teks, gambar, audio, atau konten video. Representasi konten matematika dan yang dinormalisasi ini, yang disebut penyematan vektor, memberikan dasar umum untuk skenario pencarian.

Ketika semuanya adalah vektor, kueri dapat menemukan kecocokan di ruang vektor, bahkan jika konten asli terkait berada dalam jenis media yang berbeda, seperti gambar versus teks, atau bahasa daripada kueri. Mesin pencari memindai indeks yang mencari konten vektor yang paling mirip, yaitu yang paling dekat, dengan vektor dalam kueri. Pencocokan pada representasi vektor matematika alih-alih kata kunci membuatnya jauh lebih mungkin untuk menemukan kecocokan yang berbagi makna semantik tetapi secara tekstual berbeda, seperti "mobil" dan "otomatis," misalnya. Ini memberikan pengenalan yang lebih rinci tentang penyematan vektor dan cara kerja algoritma kesamaan.

Istilah kunci

Pemeringkat semantik menggunakan konteks atau arti semantik kueri untuk menghitung skor relevansi baru yang mempromosikan hasil yang secara semantik paling dekat dengan niat kueri asli ke bagian atas. Kumpulan hasil awal dapat berasal dari pencarian kata kunci dengan peringkat BM25 , pencarian vektor , atau pencarian hibrid yang menyertakan keduanya. Ini juga membuat dan mengembalikan "keterangan" dengan mengekstrak konten verbatim yang ditemukan dalam hasil dan "sorotan" untuk menarik perhatian pada konten penting dalam hasilnya. Ini juga dapat mengembalikan "jawaban" jika kueri memiliki karakteristik pertanyaan ("apa titik beku air") dan hasilnya berisi teks yang memiliki karakteristik jawaban ("air membeku pada 0 °C atau 32 °F").

Istilah kunci

Penulisan ulang kueri membuat kueri sintetis, yang merupakan kueri yang dibuat secara buatan atau dihasilkan dari input pelanggan aktual untuk meningkatkan pengenalan (pecahan dokumen relevan yang diambil dari jumlah total dokumen yang tersedia) dari peringkat BM25, pencarian vektor, atau pencarian hibrid. Kueri asli dikombinasikan dengan kueri sintetis untuk memberikan pengenalan optimal dari mesin pencari.

Keterampilan GenAI Prompt adalah bagian dari katalog keterampilan Pencarian Azure AI, memungkinkan pelanggan untuk meningkatkan indeks pencarian mereka dengan konten yang dihasilkan AI berdasarkan data mereka. Dengan menggunakan data dan preferensi organisasi pelanggan sendiri, keterampilan ini membantu menghasilkan ringkasan, jawaban, atau wawasan yang disesuaikan dengan kebutuhan spesifik mereka.

Ini berarti ketika pengguna akhir mencari konten pelanggan melalui Pencarian AI, konten yang dihasilkan AI dapat memberikan hasil yang lebih informatif dan sadar konteks, sehingga memudahkan pengguna untuk menemukan informasi yang mereka cari.

Istilah kunci

Pengambilan agenik adalah arsitektur pemrosesan kueri paralel yang menggunakan model bahasa besar percakapan (LLM) sebagai "perencana kueri." LLM mengubah riwayat percakapan pengguna menjadi satu atau beberapa subkueri terfokus, sesuai kebutuhan. Subkueri ini berjalan secara bersamaan pada indeks Pencarian Azure AI Anda, dan layanan menggabungkan hasil teratas, mengembalikan:

• String konten yang berisi bagian paling relevan (data dasar).
• Array referensi (opsional) yang mengekspos dokumen atau gugus sumber lengkap.
• Array aktivitas yang mengidentifikasi setiap operasi, jumlah token, dan latensi untuk membantu pelacakan biaya dan debugging.

Istilah kunci

Perilaku sistem

Beberapa kemampuan bawaan untuk pengayaan AI di Pencarian Azure AI memanfaatkan Foundry Tools. Lihat Catatan Transparansi untuk setiap keterampilan bawaan yang ditautkan di bawah ini untuk pertimbangan saat memilih untuk menggunakan keterampilan:

• Keterampilan Ekstraksi Frasa Kunci: Bahasa - Ekstraksi Frasa Kunci
• Keterampilan Pengenalan Bahasa: Bahasa - Deteksi Bahasa
• Keterampilan Penautan Entitas: Bahasa - Penautan Entitas
• Keterampilan Pengenalan Entitas: Bahasa - Pengenalan Entitas Bernama (NER)
• Kemampuan Deteksi PII: Bahasa - Deteksi PII
• Keterampilan Sentimen: Bahasa - Analisis Sentimen
• Keterampilan Analisis Gambar: Visi - Analisis Gambar
• Keterampilan OCR: Visi - OCR
• Keterampilan Tata Letak Dokumen: Kecerdasan Dokumen

Lihat dokumentasi untuk setiap keterampilan untuk mempelajari lebih lanjut tentang kemampuan, batasan, performa, evaluasi, dan metode masing-masing untuk integrasi dan penggunaan yang bertanggung jawab. Perhatikan bahwa menggunakan kemampuan ini secara kombinasi dapat menyebabkan efek bertambah (misalnya, kesalahan yang diperkenalkan saat menggunakan OCR akan berlanjut saat menggunakan ekstraksi frasa kunci).

Kasus penggunaan

Contoh kasus penggunaan

Karena Pencarian Azure AI adalah solusi pencarian teks lengkap, tujuan pengayaan AI adalah untuk meningkatkan utilitas pencarian konten yang tidak terstruktur. Berikut adalah beberapa contoh skenario pengayaan konten yang didukung oleh keterampilan bawaan:

• Terjemahan dan deteksi bahasa memungkinkan pencarian multibahasa.
• Pengenalan entitas mengekstrak orang , tempat , dan entitas lain dari potongan teks yang besar.
• Ekstraksi frasa kunci mengidentifikasi lalu menghasilkan istilah penting.
• OCR mengenali teks cetak dan tulisan tangan dalam file biner.
• Analisis gambar menjelaskan konten gambar dan menghasilkan deskripsi sebagai bidang teks yang dapat dicari.
• Vektorisasi integrasi adalah fitur pratinjau yang memanggil model embedding OpenAI Azure untuk mem-vektorisasi data dan menyimpan embedding di Pencarian Azure AI untuk pencarian kesamaan.

Perilaku sistem

Dalam pencarian vektor, mesin pencari mencari vektor dalam ruang penyematan dalam indeks untuk menemukan yang dekat dengan vektor kueri. Teknik ini disebut pencarian tetangga terdekat. Ini juga membantu mengukur tingkat kesamaan, atau jarak, di antara item. Tingkat kesamaan vektor yang tinggi menunjukkan bahwa data asli juga serupa. Dua algoritma pencarian vektor yang didukung oleh Pencarian Azure AI memiliki pendekatan yang berbeda untuk masalah ini, menyeimbangkan karakteristik seperti latensi, throughput, recall, dan memori.

Menemukan sekumpulan "k" tetangga terdekat yang sebenarnya memerlukan perbandingan vektor input secara lengkap dengan semua vektor dalam himpunan data. Meskipun setiap perhitungan kesamaan vektor relatif cepat, melakukan perbandingan lengkap ini di seluruh himpunan data besar secara komputasi mahal dan lambat karena banyaknya perbandingan yang diperlukan. Selain itu, semakin tinggi dimensi setiap vektor, semakin kompleks dan memperlambat perhitungan pada setiap vektor.

Untuk mengatasi tantangan ini, perkiraan metode pencarian tetangga terdekat (ANN) digunakan untuk menukar pengenalan untuk kecepatan. Metode ini dapat secara efisien menemukan sekumpulan kecil vektor kandidat yang kemungkinan besar mirip dengan vektor kueri, mengurangi jumlah total perbandingan vektor. Pencarian Azure AI menggunakan algoritma Hierarkis Navigable Small World (HNSW) untuk mengatur poin data berdimensi tinggi ke dalam struktur grafik hierarkis probabilistik yang memungkinkan pencarian kesamaan yang cepat sambil memungkinkan trade-off yang dapat disetel antara akurasi pencarian dan biaya komputasi.

Pencarian Azure AI juga mendukung beberapa metrik kesamaan untuk menentukan tetangga terdekat dan skor setiap hasil vektor Ini termasuk kosinus, "Euclidean" (juga dikenal sebagai "norma l2"), dan "produk titik." Kosinus menghitung sudut antara dua vektor. Euclidean menghitung jarak Euclidean antara dua vektor, yang merupakan norma l2 dari perbedaan kedua vektor. Produk titik dipengaruhi oleh besarnya vektor dan sudut di antaranya. Untuk ruang penyematan yang dinormalisasi, produk titik setara dengan kesamaan kosinus tetapi lebih efisien.

Kasus penggunaan

Contoh kasus penggunaan

Ada banyak skenario di mana pencarian vektor berguna, dan hanya dibatasi oleh kemampuan model yang digunakan untuk menghasilkan penyematan vektor. Berikut adalah beberapa kasus penggunaan umum di mana pencarian vektor dapat digunakan:

• Pencarian Semantik: Mengekstrak pemahaman semantik dari teks dengan menggunakan model, seperti model penyematan Azure OpenAI Service.
• Cari di berbagai jenis data (multimodal): Mengodekan konten yang berasal dari gambar, teks, audio, dan video, atau campuran, dan lakukan satu pencarian di semuanya.
• Pencarian multibahasa: Gunakan model penyematan multibahasa untuk mewakili dokumen Anda dalam beberapa bahasa untuk menemukan hasil dalam bahasa yang didukung.
• Pencarian hibrid: Pencarian vektor diimplementasikan di tingkat bidang, yang berarti Anda dapat membuat kueri yang menyertakan bidang vektor dan bidang teks yang dapat dicari. Kueri berjalan secara paralel, dan hasilnya digabungkan menjadi satu respons. Hasil pencarian hibrid dengan peringkat semantik telah terbukti memberikan hasil kualitatif terbaik.
• Pencarian vektor yang difilter: Kueri dapat menyertakan kueri vektor dan ekspresi filter. Filter yang diterapkan ke jenis data lain berguna untuk menyertakan atau mengecualikan dokumen berdasarkan kriteria lain.
• Database vektor: Penyimpanan vektor murni ini untuk memori jangka panjang atau pangkalan pengetahuan eksternal untuk Model Bahasa Besar (LLM). Misalnya, gunakan Pencarian Azure AI sebagai indeks vektor dalam alur permintaan Azure Machine Learning untuk aplikasi Retrieval Augmented Generation (RAG).

Pertimbangan saat memilih kasus penggunaan

Mungkin ada pertimbangan dan kekhawatiran yang terkait dengan model tertentu yang Anda pilih untuk menghasilkan penyematan vektor. Setiap model dapat memiliki masalah sendiri dengan bias dan kewajaran dan harus dievaluasi sebelum digunakan dalam aplikasi Anda. Pencarian Azure AI tidak menyediakan model apa pun untuk mem-vektorisasi konten sebagai bagian dari layanan. Lihat Catatan Transparansi Azure OpenAI Service untuk contoh pertimbangan ini. Model pihak ketiga atau OSS lainnya memiliki pertimbangan sendiri untuk ditinjau.

Perilaku sistem

Memberi peringkat hasil langkah pengambilan lapisan pertama adalah proses yang sangat intensif sumber daya. Untuk menyelesaikan pemrosesan ranker dalam latensi yang diharapkan dari operasi kueri, hanya 50 hasil teratas dari mesin pencarian yang dikirim ke ranker semantik sebagai masukan. Jika terlalu lama, 50 hasil pertama kali dikirim ke langkah ringkasan yang mengekstrak konten yang paling relevan dari setiap hasil sebelum menjalankan ranker semantik.

Dalam langkah ringkasan, dokumen yang diambil terlebih dahulu dimasukkan melalui proses persiapan yang menggabungkan input dokumen yang berbeda ke dalam satu string panjang. Jika string terlalu panjang, pemangkasan dilakukan, dengan penekanan khusus pada mempertahankan konten yang terkandung dalam bidang yang ditambahkan ke konfigurasi semantik. Setelah string disiapkan, string diteruskan melalui pemahaman pembacaan mesin dan model representasi bahasa untuk menentukan kalimat dan frasa mana yang memberikan ringkasan terbaik, relatif terhadap kueri. Fase ini mengekstrak konten dari string yang akan diteruskan ke tahap peringkat semantik dan secara opsional menghasilkan keterangan semantik atau jawaban semantik.

Langkah terakhir, peringkat semantik, menentukan relevansi konten yang diekstrak pada langkah sebelumnya untuk kueri pengguna dan menghasilkan skor peringkat semantik mulai dari 4 (sangat relevan) hingga 0 (tidak relevan). Langkah ini didasarkan pada teks kueri dan pada teks ringkasan dan melibatkan komputasi yang lebih kompleks daripada lapisan pengambilan.

Kasus penggunaan

Contoh kasus penggunaan

Peringkat semantik dapat digunakan dalam beberapa skenario. Kasus penggunaan yang dimaksudkan sistem meliputi:

• Retrieval Augmented Generation (RAG): Peringkat semantik memungkinkan Anda untuk mendasarkan respons dari aplikasi AI generatif Anda pada hasil pencarian yang memenuhi ambang batas skor relevansi yang Anda tentukan. Misalnya, Azure OpenAI Service pada data Anda menggunakan Pencarian Azure AI untuk memperkuat model Azure OpenAI dengan data Anda. Anda dapat menggunakan peringkat semantik dalam layanan ini untuk meningkatkan relevansi informasi yang disalurkan ke model Azure OpenAI.
• Pencarian konten: Pemeringkat semantik memungkinkan Anda mencari konten yang relevan dalam data Anda dengan menganalisis teks dan metadata. Misalnya, pencarian di situs web learn.microsoft.com menggunakan pemeringkat semantik untuk meningkatkan relevansi pencarian bagi pengembang perangkat lunak yang mencari dokumentasi teknis Microsoft.
• Pencarian eCommerce: Peringkat semantik memungkinkan bisnis eCommerce untuk meningkatkan pengalaman pencarian mereka dengan memberikan hasil produk yang relevan berdasarkan relevansi semantik. Misalnya, peritel online menggunakan ranker semantik untuk mengoptimalkan pengalaman eCommerce mereka dengan memberikan hasil pencarian yang relevan untuk pembeli online mereka.
• QnA: Pencarian Azure AI memungkinkan organisasi memberikan pengalaman percakapan bagi pengguna mereka dengan menjawab pertanyaan berdasarkan informasi yang tersedia di database mereka. Misalnya, produsen dapat menggunakan peringkat semantik untuk menambah informasi yang tersedia untuk chatbot. Teknisi dapat menggunakan chatbot ini untuk mengajukan pertanyaan dan mengambil dokumen internal yang sangat relevan yang terkait dengan kueri dan jawaban instan mereka dalam dokumen yang diambil.

Pertimbangan saat memilih kasus penggunaan

Kami mendorong pelanggan untuk menggunakan peringkat semantik dalam solusi atau aplikasi inovatif mereka. Namun, berikut adalah beberapa pertimbangan saat memilih kasus penggunaan:

• Informasi sensitif : Model pembelajaran mesin yang memungkinkan pemeringkat semantik memproses data yang diambil dalam kueri pencarian, termasuk informasi sensitif seperti detail pribadi dan informasi keuangan. Pertimbangkan implikasi privasi dan keamanan apa pun sebelum Anda menerapkan ranker semantik untuk kasus penggunaan tersebut.
• Bias dan kewajaran : Peringkat semantik didukung oleh model pembelajaran mendalam. Model pembelajaran mendalam ini dilatih dengan menggunakan konten publik. Data pelanggan dinilai oleh model pemeringkat semantik. Evaluasi keluaran dari ranker semantik saat Anda memilih kasus penggunaan, terutama untuk kasus penggunaan yang memiliki implikasi bagi kewajaran dan keadilan, seperti perekrutan.
• Kepatuhan terhadap peraturan: Beberapa industri, seperti layanan kesehatan dan keuangan, sangat diatur dan mungkin memiliki batasan penggunaan AI dan pembelajaran mesin. Sebelum Anda menggunakan peringkat semantik di industri tersebut, pastikan bahwa solusi mematuhi peraturan dan pedoman yang relevan.

Perilaku sistem

Kueri asli dikirim ke Model Bahasa Kecil (SLM) yang disesuaikan yang dihosting oleh Pencarian Azure AI. Model ini dilatih dengan menggunakan konten publik. SLM mengubah kueri asli menjadi sekumpulan kueri sintetis. Kueri sintetis ini secara semantik dekat dengan niat kueri asli tetapi menyertakan serangkaian istilah yang berbeda untuk meningkatkan pengenalan dari mesin pencari.

Kueri sintetis kemudian dikombinasikan dengan kueri asli dan dikirim ke mesin pencari. Saat melakukan peringkat BM25, istilah kunci dari kueri sintetis dikombinasikan dengan kueri asli. Saat melakukan pencarian vektor, kueri asli digabungkan dengan kueri sintetis sebelum langkah penyematan vektor .

Kasus penggunaan

Contoh kasus penggunaan

Penulisan ulang kueri dapat digunakan dalam beberapa skenario. Penulisan ulang kueri memerlukan penggunaan ranker semantik.

• Interaksi obrolan dengan data Anda: Penulisan ulang kueri memungkinkan Anda untuk membumikan respons dari aplikasi AI generatif Anda dalam hasil pencarian yang relevan yang memenuhi ambang skor relevansi yang Anda tentukan. Misalnya, Azure OpenAI Service On Your Data menggunakan Pencarian Azure AI untuk menambah model OpenAI Azure dengan data Anda. Anda dapat menggunakan penulisan ulang kueri dalam layanan ini untuk meningkatkan relevansi hasil informasi yang disalurkan ke model Azure OpenAI.
• Konversational Questions and Answers (QnA): Pencarian Azure AI memungkinkan organisasi memberikan pengalaman percakapan bagi pengguna mereka dengan menjawab pertanyaan berdasarkan informasi yang tersedia dalam database mereka. Misalnya, produsen dapat menggunakan peringkat semantik untuk menambah informasi yang tersedia untuk chatbot. Teknisi dapat menggunakan chatbot ini untuk mengajukan pertanyaan dan mengambil dokumen internal yang sangat relevan yang terkait dengan kueri dan jawaban instan mereka dalam dokumen yang diambil.

Pertimbangan saat memilih kasus penggunaan

Kami mendorong pelanggan untuk menggunakan penulisan ulang kueri dalam solusi atau aplikasi inovatif mereka. Namun, berikut adalah beberapa pertimbangan saat memilih kasus penggunaan:

• Informasi sensitif dan PII: SLM yang disempurnakan—yang memungkinkan penulisan ulang kueri—memproses kueri pencarian, yang mungkin berisi informasi sensitif. Pertimbangkan implikasi privasi dan keamanan apa pun sebelum Anda menerapkan penulisan ulang kueri untuk kasus penggunaan tersebut.
• Redaksi informasi pribadi untuk mengurangi bias tidak sadar. Misalnya, selama proses peninjauan resume perusahaan, mereka mungkin ingin memblokir nama, alamat, atau nomor telepon kandidat untuk membantu mengurangi prasangka tidak sadar terhadap jenis kelamin atau prasangka lainnya selama pencarian.
• Pertimbangan hukum dan peraturan. Organisasi perlu mengevaluasi potensi kewajiban hukum dan peraturan tertentu saat menggunakan Pencarian AI apa pun, yang mungkin tidak sesuai untuk digunakan di setiap industri atau skenario. Pembatasan dapat bervariasi berdasarkan persyaratan peraturan regional atau lokal. Selain itu, Pencarian AI tidak dirancang untuk dan mungkin tidak digunakan dengan cara yang dilarang dalam ketentuan layanan yang berlaku dan kode etik yang relevan.

Keterampilan GenAI Prompt memungkinkan pelanggan untuk meneruskan konten dokumen mereka, yang ada di sumber data mereka, dan permintaan kustom ke model bahasa yang mereka miliki, yang dihosting di Microsoft Foundry. Model bahasa memproses input dan mengembalikan konten yang diperkaya, yang kemudian diserap ke dalam indeks pencarian bersama konten dokumen asli. Proses ini memungkinkan augmentasi indeks pencarian dengan ringkasan yang dihasilkan AI, keterangan gambar, dan ekstraksi entitas, antara lain, berdasarkan kriteria yang ditentukan pelanggan.

Contoh berikut menunjukkan cara kerja keterampilan GenAI Prompt.

Ringkasan tiket tanpa bidikan

Tujuan: Biarkan agen dukungan memindai utas email multi-halaman dalam beberapa detik.

Cara kerjanya:

• Selama pengindeksan, setiap percakapan tiket panjang dibagi menjadi segmen logis (permintaan awal, pertanyaan tindak lanjut, log diagnostik, dll.).
• Untuk setiap segmen, model bahasa diinstruksikan untuk "meringkas bagian ini dalam tiga kalimat yang renyah."
• Abstrak yang dihasilkan menggantikan teks mentah selama pengambilan sehingga agen—dan alur RAG yang berada di hilir—hanya melihat esensi yang sudah diekstraksi.

Alasannya membantu: Ringkas, ringkasan tingkat segmen mengurangi ukuran prompt, mempercepat pembuatan respons, dan membantu agen fokus pada masalah inti pelanggan.

Ekstraksi entitas beberapa bidikan

Tujuan: Mendukung kueri seperti "Tunjukkan semua tiket di mana Produk X mengalami kerusakan dengan error 500."

Cara kerjanya

• Teks tiket lengkap dikirim ke keterampilan bersama dengan satu contoh kerja yang menunjukkan format output yang diinginkan (daftar entitas utama seperti nama produk, kode kesalahan, sistem operasi, dan tingkat keparahan).
• Model ini mengekstrak setiap kemunculan 〈produk, error_code, platform, tingkat keparahan.
• Daftar terstruktur ini disimpan dengan dokumen, memungkinkan penyaringan instan yang menampilkan, misalnya, semua crash dengan keparahan tinggi pada iOS.

Alasannya membantu: Entitas yang telah dikomputasi mengubah pesan pelanggan yang tidak terstruktur menjadi data yang dapat difilter, memungkinkan pimpinan dukungan mengenali pola dan memprioritaskan perbaikan tanpa penguraian manual.

Klasifikasi perutean tiket satu bidikan

Tujuan: Secara otomatis merutekan setiap tiket ke antrean yang tepat.

Cara kerjanya:

• Setiap tiket dianalisis dengan perintah yang mencantumkan lima kategori dukungan—Penagihan, Masalah Teknis, Akses Akun, Permintaan Fitur, dan Umpan Balik Umum—ditambah satu contoh referensi ("Contoh tiket → Penagihan").
• Model menetapkan tepat satu label, berdasarkan lima kategori dukungan di atas, ke setiap tiket yang memasuki sistem Pencarian AI sebagai masukan.
• Sistem help desk menggunakan label untuk mengirim pertanyaan penagihan ke spesialis keuangan, gangguan teknis ke insinyur, dan sebagainya.

Alasannya membantu: Pelabelan yang cepat dan konsisten mengurangi tiket yang salah dirutekan, mempersingkat waktu resolusi, dan meningkatkan kepuasan pelanggan.

Saran resolusi rantai pemikiran

Tujuan: Memberikan agen dukungan dengan satu langkah terbaik berikutnya dalam menyelesaikan masalah.

Cara kerjanya

• Seluruh tiket—atau pesan terbaru dari pelanggan—akan diteruskan ke model bahasa.
• Pesan pengguna menginstruksikan model setelah permintaan sistem: "Pikirkan langkah demi langkah secara internal, tetapi output hanya tindakan berikutnya yang direkomendasikan."
• Panduan yang dikembalikan mungkin: "Minta pelanggan untuk menghapus cache dan menginstal ulang versi 3.2.1."
• Agen dapat menyalin saran secara langsung atau memperbaikinya sebelum merespons.

Alasannya membantu: Agen menerima rekomendasi yang dapat ditindaklanjuti tanpa rantai penalaran privat model, menghemat waktu sambil menjaga langkah-langkah pemecahan masalah tetap ringkas dan relevan. Dalam kasus tertentu, agen dukungan tidak dibanjiri dengan informasi yang tidak perlu.

Kasus penggunaan

Contoh kasus penggunaan

Keterampilan GenAI Prompt meningkatkan pengayaan data dalam Pencarian Azure AI, membantu relevansi respons selaras dengan niat dan harapan pengguna. Dengan mengintegrasikan konten yang dihasilkan AI ke dalam indeks pencarian, keterampilan ini memungkinkan hasil pencarian yang lebih akurat dan sesuai kontekstual. Aplikasi utama meliputi:

• Menghasilkan ringkasan ringkasan dokumen panjang untuk memfasilitasi pengambilan informasi yang lebih cepat: Firma hukum memproses kontrak ekstensif dan menggunakan keterampilan GenAI Prompt untuk membuat ringkasan singkat yang menyoroti klausul utama, sehingga memudahkan pengacara untuk meninjau informasi penting tanpa membaca seluruh dokumen.
• Membuat deskripsi tekstual untuk gambar guna meningkatkan kemampuan pencarian dan aksesibilitas: Perusahaan media mengelola pustaka gambar yang luas. Dengan menerapkan keterampilan GenAI Prompt, mereka menghasilkan keterangan deskriptif untuk setiap gambar, memungkinkan pencarian dan organisasi yang efisien dalam sistem manajemen aset digital mereka.
• Mengidentifikasi dan mengekstrak entitas atau fakta tertentu dari dokumen berdasarkan kriteria kustom: Lembaga penelitian menganalisis makalah ilmiah untuk mengekstrak penyebutan senyawa kimia dan sifatnya. Keterampilan GenAI Prompt mengotomatiskan ekstraksi ini, mengisi database terstruktur bagi peneliti untuk mengakses data yang relevan dengan cepat.
• Mengklasifikasikan dokumen ke dalam kategori yang ditentukan untuk organisasi dan pengambilan yang lebih baik: Perusahaan asuransi menerima banyak jenis dokumen setiap hari. Dengan menggunakan keterampilan GenAI Prompt, mereka secara otomatis mengklasifikasikan dokumen-dokumen ini ke dalam kategori seperti Klaim, Pembaruan Kebijakan, dan Umpan Balik Pelanggan. Ini menyederhanakan proses manajemen dokumen mereka dan memudahkan untuk menemukan dokumen tertentu saat diperlukan.

Meskipun ini adalah aplikasi umum, keterampilan ini fleksibel, memungkinkan pelanggan untuk menentukan permintaan yang disesuaikan dengan persyaratan unik mereka.

Pertimbangan saat memilih kasus penggunaan

Penting untuk dicatat bahwa penyebaran konten, permintaan, dan model bahasa sepenuhnya merupakan sumber daya yang dikelola pelanggan. Foundry mendukung filter keamanan konten untuk penyebaran model, dan pelanggan bertanggung jawab untuk mengonfigurasi filter ini sesuai kebutuhan. Di luar konfigurasi yang tersedia di Foundry, Pencarian Azure AI tidak menerapkan filter keamanan konten tambahan dalam keterampilan GenAI Prompt.

Saat menerapkan keterampilan GenAI Prompt, pertimbangkan hal berikut:

• Terapkan proses untuk tinjauan manusia terhadap konten yang dihasilkan AI, terutama saat menerapkan transformasi permintaan yang dapat memengaruhi keandalan informasi. Gunakan alat debug sessions pada Pencarian Azure AI untuk menguji prompt pada dokumen sampel sebelum penyebaran skala penuh.
• Hindari skenario saat penggunaan atau penyalahgunaan sistem dapat mengakibatkan cedera fisik atau psikologis yang signifikan pada individu. Misalnya, skenario yang mendiagnosis pasien atau meresepkan obat berpotensi menyebabkan kerusakan yang signifikan. Memasukkan tinjauan dan pengawasan manusia yang bermakna ke dalam skenario dapat membantu mengurangi risiko hasil berbahaya.
• Pertimbangkan dengan cermat semua kasus penggunaan yang generatif. Skenario pembuatan konten mungkin lebih mungkin menghasilkan output yang tidak diinginkan dan skenario ini memerlukan pertimbangan dan mitigasi yang cermat.
• Pertimbangan hukum dan peraturan. Organisasi perlu mengevaluasi potensi kewajiban hukum dan peraturan tertentu saat menggunakan Pencarian AI apa pun, yang mungkin tidak sesuai untuk digunakan di setiap industri atau skenario. Pembatasan dapat bervariasi berdasarkan persyaratan peraturan regional atau lokal. Selain itu, Pencarian AI tidak dirancang untuk dan mungkin tidak digunakan dengan cara yang dilarang dalam ketentuan layanan yang berlaku dan kode etik yang relevan.

Perilaku sistem

Percakapan asli atau kueri pencarian dikirim ke model OpenAI Azure milik pelanggan untuk menjalankan langkah-langkah perencanaan kueri. Perencanaan kueri memecah percakapan menjadi serangkaian subkueri yang dioptimalkan yang mencerminkan niat yang mendasari pengguna dengan ejaan yang dikoreksi dan sinonim yang diperluas. Pencarian Azure AI kemudian memproses semua subkueri sekaligus di seluruh sistem pengambilan pencarian lengkap. Subkueri pertama kali diproses oleh kombinasi hibrid pencarian kata kunci dan pencarian vektor. Pencarian kata kunci menemukan dokumen dalam indeks pencarian dengan kata kunci serupa dengan subkueri. Pencarian vektor menemukan dokumen dalam indeks pencarian yang mungkin memiliki kata kunci yang berbeda, tetapi makna yang mendasarinya serupa dengan subkueri. Hasil pencarian hibrid ini kemudian diberi peringkat ulang oleh ranker semantik untuk menemukan dokumen dengan kecocokan terbaik dengan niat subkueri. Layanan kemudian menggabungkan dan menghapus duplikat dari hasil peringkat, menerapkan batas respons seperti panjang output maksimum sebelum mengirim kembali respons akhir.

Kasus penggunaan

Contoh kasus penggunaan

• Data dasar untuk chatbot kustom. Tautkan chatbot ke kebijakan SDM resmi perusahaan dan buku pegangan karyawan sehingga ketika seseorang bertanya, "Berapa banyak hari liburan yang saya dapatkan?" chatbot menarik jawaban langsung dari dokumen-dokumen tersebut daripada menebak.
• Lengkapi asisten pengetahuan perusahaan untuk menghormati konteks pengguna, filter, dan riwayat obrolan. Misalnya, ketika karyawan bertanya tentang tujuan untuk periode tertentu, asisten menggunakan peran mereka, filter saat ini (misalnya, wilayah: AS), dan percakapan yang sedang berlangsung (misalnya, topik terakhir adalah "alur Q2") untuk menghasilkan respons yang dipersonalisasi.
• Atasi tugas pencarian informasi yang kompleks di mana satu kueri kata kunci memiliki pengenalan rendah. Tugas tersebut dapat mencakup panduan pemecahan masalah, penelitian literatur medis, atau perbandingan produk. Misalnya, jika teknisi hanya mencari "kesalahan perangkat" dan menerima hasil generik, penarik berbasis agen dapat memperhitungkan seluruh riwayat percakapan yang mungkin mencakup model perangkat, versi perangkat lunak, riwayat pemeliharaan, dan status jaringan untuk menampilkan artikel yang tepat dan relevan.
• Pastikan transparansi penuh ke dalam apa yang diambil, mengapa, dan dengan biaya berapa. Misalnya, saat meringkas dokumen peraturan dan temuan audit sebelumnya, sangat penting untuk mengetahui sumber yang tepat (misalnya, "pengarsipan SEC dari Q2 2023"), alasan pemilihan (misalnya "kata kunci yang cocok, pengungkapan risiko, turunan"), dan biaya terkait (misalnya, penggunaan token).

Pertimbangan saat memilih kasus penggunaan

• Latensi: Menambahkan panggilan LLM kedua untuk perencanaan kueri akan memperpanjang waktu putaran permintaan. Bahkan dengan model cepat, Anda harus melakukan tolok ukur terhadap keterlambatan ekstra selama lalu lintas puncak dan memverifikasi bahwa pengalaman pengguna tetap dalam batas yang dapat diterima. Jika latensi sangat penting, pertimbangkan untuk mencache kueri yang sering diakses atau menggunakan model perencanaan yang lebih ringkas dan cepat.
• Biaya: Biaya bertambah pada dua dimensi—token model OpenAI dan token peringkat Pencarian. Panggilan perencana kueri dikenakan biaya oleh Azure OpenAI untuk setiap token input dan output, sementara setiap sub-kueri dikenakan biaya oleh Pencarian Azure AI untuk token yang harus diberi peringkat. Token pemeringkat tersedia gratis pada tahap awal pratinjau publik. Perkirakan nomor token model dan peringkat untuk beban kerja Anda terlebih dahulu.
• Input sensitif: Seluruh riwayat percakapan diteruskan ke model perencana, yang berarti data yang dapat diidentifikasi secara pribadi atau data sensitif bisnis meninggalkan batas aman yang Anda percayai. Strip, mask, atau menyunting data tersebut sebelum menggunakan LLM, dan mendokumentasikan mitigasi tersebut dalam pendekatan perlindungan data Anda.
• Batas regional dan pratinjau: Pengambilan berbasis agen hanya tersedia di regional tempat peringkat semantik tersedia. Agen individual dapat menunjuk ke hanya satu indeks Pencarian. Pastikan bahwa wilayah yang menghosting data dan model Anda mendukung pengambilan berbasis agen, dan rencanakan agen terpisah jika Anda perlu merentang beberapa indeks atau wilayah geografis.
• Kepatuhan: Konfirmasikan bahwa menggunakan perencana kueri berbasis LLM mematuhi persyaratan khusus sektor atau regional (misalnya, aturan residensi data, privasi, atau keputusan otomatis dalam layanan kesehatan atau keuangan). Pastikan pengawasan dan kontrol manusia yang memadai. Pertimbangkan untuk menyertakan kontrol untuk membantu pengembang memverifikasi, meninjau, dan/atau menyetujui tindakan secara tepat waktu, yang mungkin termasuk meninjau tugas atau panggilan yang direncanakan ke sumber data eksternal.
• Pertimbangan hukum dan peraturan: Pengguna perlu mengevaluasi potensi kewajiban hukum dan peraturan tertentu saat menggunakan Alat dan solusi Foundry apa pun, yang mungkin tidak sesuai untuk digunakan dalam setiap industri atau skenario. Selain itu, Foundry Tools atau solusi tidak dirancang untuk dan tidak dapat digunakan dengan cara yang dilarang dalam ketentuan layanan yang berlaku dan kode etik yang relevan.

Pengayaan AI di Pencarian Azure AI menggunakan fitur pengindeks dan sumber data layanan untuk memanggil Foundry Tools untuk melakukan pengayaan konten. Batasan pengindeks dan sumber data yang digunakan dalam proses ini akan berlaku. Tinjau dokumentasi pengindeks dan sumber data untuk informasi selengkapnya tentang batasan terkait ini. Batasan setiap Foundry Tool yang digunakan oleh alur pengayaan AI di Pencarian Azure AI juga akan berlaku. Lihat catatan transparansi untuk setiap layanan untuk informasi selengkapnya tentang batasan ini.

Batasan teknis, faktor operasional, dan rentang

Semua vektor yang diunggah ke Pencarian Azure AI harus dibuat secara eksternal dari layanan dengan menggunakan model pilihan Anda. Anda bertanggung jawab untuk mempertimbangkan batasan teknis dan faktor operasi setiap model, dan apakah penyematan yang dibuatnya dioptimalkan atau bahkan sesuai untuk kasus penggunaan Anda. Ini termasuk inferensi makna yang diekstrak dari konten, dan dimensi ruang penyematan vektor.

Model vektorisasi membuat ruang penyematan yang menentukan pengalaman pencarian pengguna akhir yang dihasilkan dari aplikasi. Mungkin ada kelemahan pada model yang secara negatif memengaruhi fungsionalitas dan performa jika model tidak selaras dengan kasus penggunaan yang diinginkan atau penyematan yang dihasilkan dioptimalkan dengan buruk.

Meskipun banyak batasan pencarian vektor berasal dari model yang digunakan untuk menghasilkan embedding, ada beberapa opsi tambahan yang harus Anda pertimbangkan pada saat kueri. Anda bisa memilih dari dua algoritma untuk menentukan relevansi hasil pencarian vektor: Exhaustive k-nearest neighbors (KNN) atau Hierarchical Navigable Small World. Tetangga terdekat k lengkap (KNN) melakukan pencarian brute-force dari seluruh ruang vektor untuk kecocokan yang paling mirip dengan kueri dengan menghitung jarak antara semua pasangan titik data dan menemukan tetangga k terdekat yang tepat dari titik kueri. Meskipun lebih tepat, algoritma ini bisa lambat. Jika latensi rendah adalah tujuan utama, pertimbangkan untuk menggunakan algoritma Hierarkis Navigable Small World (HNSW). HNSW melakukan pencarian tetangga terdekat secara perkiraan yang efisien di ruang penyematan berdimensi tinggi. Lihat dokumentasi pencarian vektor untuk informasi selengkapnya tentang opsi ini.

Praktik terbaik untuk meningkatkan performa sistem

• Luangkan waktu A/B untuk menguji aplikasi Anda dengan berbagai konten dan jenis kueri yang Anda harapkan untuk didukung aplikasi Anda. Ketahui mana pengalaman penelusuran yang terbaik untuk kebutuhan Anda.
• Luangkan waktu untuk menguji model Anda dengan berbagai konten input untuk memahami bagaimana perilakunya dalam banyak situasi. Konten ini dapat mencakup input yang berpotensi sensitif untuk memahami apakah ada bias yang melekat dalam model. Ringkasan Azure OpenAI Responsible AI memberikan panduan tentang cara menggunakan AI secara bertanggung jawab.
• Pertimbangkan untuk menambahkan Keamanan Konten Azure AI ke arsitektur aplikasi Anda. Ini termasuk API untuk mendeteksi teks atau gambar yang dihasilkan pengguna dan dihasilkan AI yang berbahaya dalam aplikasi dan layanan.

Mengevaluasi dan mengintegrasikan pencarian vektor untuk penggunaan Anda

Untuk memastikan performa optimal, lakukan evaluasi Anda sendiri tentang solusi yang Anda rencanakan untuk diterapkan dengan menggunakan pencarian vektor. Ikuti proses evaluasi yang: (1) menggunakan beberapa pemangku kepentingan internal untuk mengevaluasi hasil, (2) menggunakan eksperimen A/B untuk meluncurkan pencarian vektor kepada pengguna, (3) menggabungkan indikator performa utama (KPI) dan pemantauan metrik ketika layanan disebarkan dalam pengalaman untuk pertama kalinya, dan (4) pengujian dan mengubah konfigurasi pemeringkat semantik dan/atau definisi indeks, termasuk pengalaman di sekitarnya seperti penempatan antarmuka pengguna atau proses bisnis.

Microsoft telah mengevaluasi pencarian vektor secara ketat baik dalam hal latensi maupun pengenalan dan relevansi dengan menggunakan beragam himpunan data untuk mengukur kecepatan, skalabilitas, dan akurasi hasil yang dikembalikan. Fokus utama upaya evaluasi Anda harus pada memilih model yang sesuai untuk kasus penggunaan spesifik Anda, memahami batasan dan bias model, dan secara ketat menguji pengalaman pencarian vektor end to end.

Batasan teknis, faktor operasional, dan rentang

Mungkin ada kasus di mana hasil semantik, keterangan, dan jawaban mungkin tampaknya tidak benar. Model-model yang digunakan oleh ranker semantik dilatih pada berbagai sumber data (termasuk sumber terbuka dan pilihan dari korpus Microsoft Bing). Peringkat semantik mendukung berbagai bahasa dan upaya untuk mencocokkan kueri pengguna dengan konten dari hasil pencarian Anda. Peringkat semantik juga merupakan fitur premium dengan biaya tambahan yang harus dipertimbangkan saat memproyeksikan biaya keseluruhan solusi end-to-end Anda.

Peringkat semantik kemungkinan besar akan meningkatkan relevansi atas konten yang kaya secara semantik, seperti artikel dan deskripsi. Ini mencari konteks dan keterkaitan di antara istilah, meningkatkan kecocokan yang lebih masuk akal dalam konteks kueri. Pemahaman bahasa "menemukan" ringkasan, keterangan, atau jawaban dalam konten Anda, tetapi berbeda dengan model generatif seperti model Azure OpenAI Service GPT-3.5 atau GPT-4, itu tidak membuatnya. Hanya teks verbatim dari dokumen sumber yang disertakan dalam respons, yang kemudian dapat dirender di halaman hasil pencarian untuk pengalaman pencarian yang lebih produktif.

Model tercanggih dan telah dilatih sebelumnya digunakan untuk ringkasan dan pemeringkatan. Untuk mempertahankan performa cepat yang diharapkan pengguna dari pencarian, ringkasan semantik dan peringkat diterapkan hanya ke 50 hasil teratas, seperti yang dinilai oleh algoritma penilaian default. Input berasal dari konten dalam hasil pencarian. Ini tidak dapat mencapai kembali ke indeks pencarian untuk mengakses bidang lain dalam dokumen pencarian yang tidak dikembalikan dalam respons kueri. Panjang token untuk input dibatasi hingga 8.960 karakter. Batasan ini diperlukan untuk mempertahankan waktu respons milidetik.

Algoritma penilaian default berasal dari Bing dan Microsoft Research dan diintegrasikan ke dalam infrastruktur Pencarian Azure AI sebagai fitur add-on. Model digunakan secara internal, tidak terekspos ke pengembang, dan tidak dapat dikonfigurasi. Untuk informasi selengkapnya tentang riset dan investasi AI yang mendukung peringkat semantik, lihat Cara AI dari Bing mendukung Pencarian Azure AI (Microsoft Research Blog).

Peringkat semantik juga menawarkan jawaban, keterangan, dan penyorotan dalam respons. Misalnya, jika model mengklasifikasikan kueri sebagai pertanyaan dan 70% yakin dalam jawabannya, model mengembalikan jawaban semantik. Selain itu, keterangan semantik menyediakan konten yang paling relevan dalam hasil dan memberikan cuplikan singkat yang menyoroti kata atau frasa yang paling relevan dalam cuplikan tersebut.

Hasil pemeringkat semantik didasarkan pada data dalam indeks pencarian yang mendasar, dan model menyediakan peringkat relevansi, jawaban, dan keterangan berdasarkan informasi yang diambil dari indeks. Sebelum menggunakan ranker semantik di lingkungan produksi, penting untuk melakukan pengujian lebih lanjut dan untuk memastikan bahwa himpunan data akurat dan sesuai untuk kasus penggunaan yang dimaksudkan. Untuk informasi selengkapnya dan contoh cara mengevaluasi pemeringkat semantik, lihat konten dan lampiran di sini.

Performa sistem

Dalam banyak sistem AI, performa sering didefinisikan dalam kaitannya dengan akurasi—yaitu, seberapa sering sistem AI menawarkan prediksi atau output yang benar. Dengan model bahasa alami skala besar, dua pengguna yang berbeda dapat melihat output yang sama dan memiliki pendapat yang berbeda tentang seberapa berguna atau relevan, yang berarti bahwa performa untuk sistem ini harus didefinisikan lebih fleksibel. Di sini, kami secara luas mempertimbangkan performa yang berarti bahwa aplikasi berfungsi seperti yang Anda dan pengguna Anda harapkan, termasuk tidak menghasilkan output berbahaya.

Peringkat semantik telah dilatih menggunakan konten publik. Akibatnya, relevansi semantik bervariasi berdasarkan dokumen dalam indeks dan kueri yang dikeluarkan terhadapnya. Penting untuk menggunakan penilaian dan penelitian Anda sendiri ketika Anda menggunakan konten ini untuk pengambilan keputusan.

Praktik terbaik untuk meningkatkan performa sistem

• Luangkan waktu A/B untuk menguji aplikasi Anda dengan jenis kueri yang berbeda, seperti kata kunci versus hibrid ditambah peringkat semantik. Ketahui mana pengalaman penelusuran yang terbaik untuk kebutuhan Anda.
• Lakukan upaya yang wajar untuk menyiapkan konfigurasi semantik Anda sesuai dengan dokumentasi fitur.
• Jangan percayai jawaban semantik jika Anda tidak memiliki keyakinan pada akurasi informasi dalam indeks pencarian.
• Jangan selalu mempercayai keterangan semantik karena diekstraksi dari konten pelanggan melalui serangkaian model yang memprediksi jawaban yang paling relevan dalam cuplikan singkat.

Evaluasi pemeringkat semantik

Metode evaluasi

Peringkat semantik dievaluasi melalui pengujian internal, termasuk penilaian otomatis dan manusia pada beberapa himpunan data serta umpan balik dari pelanggan internal. Pengujian mencakup peringkat dokumen dengan menilainya sebagai relevan atau tidak relevan bersama dengan dokumen peringkat dalam urutan prioritas relevansi. Demikian juga, fungsionalitas keterangan dan jawaban juga diberi peringkat melalui pengujian internal.

Hasil evaluasi

Kami berusaha untuk mengirim semua model pembaruan bebas regresi (yaitu, model yang diperbarui hanya boleh meningkatkan model produksi saat ini). Setiap kandidat dibandingkan langsung dengan model produksi saat ini dengan menggunakan metrik yang cocok untuk fitur yang dievaluasi (misalnya, Keuntungan Kumulatif Diskon Yang Dinormalisasi untuk peringkat dan presisi/pengenalan untuk jawaban). Model pemeringkat semantik dilatih, disetel, dan dievaluasi dengan menggunakan berbagai data pelatihan yang mewakili dokumen yang memiliki properti yang berbeda (bahasa, panjang, pemformatan, gaya, dan nada) untuk mendukung array skenario pencarian terluas. Data pelatihan dan pengujian kami diambil dari:

Sumber dokumen:

• Tolok ukur akademik dan industri
• Data pelanggan (hanya pengujian, dilakukan dengan izin pelanggan)
• Data sintetis

Sumber permintaan pencarian:

• Set kueri pembandingan
• Set kueri yang disediakan pelanggan (hanya pengujian, dilakukan dengan izin pelanggan)
• Kumpulan kueri sintetis
• Set kueri buatan manusia

Sumber label untuk memberi skor pada pasangan kueri dan dokumen:

• Label tolok ukur untuk akademik dan industri
• Label pelanggan (hanya pengujian, dilakukan dengan izin pelanggan)
• Label data sintetis
• Label yang dinilai oleh manusia

Mengevaluasi dan mengintegrasikan ranker semantik untuk keperluan Anda

Kinerja peringkat semantik bervariasi tergantung pada penggunaan dan kondisi di dunia nyata tempat orang menggunakannya. Kualitas relevansi yang disediakan melalui model pembelajaran mendalam yang mendukung kemampuan pemeringkat semantik berkorelasi langsung dengan kualitas data indeks pencarian Anda. Misalnya, model saat ini memiliki batasan token yang hanya mempertimbangkan 8.960 token teratas untuk jawaban semantik. Oleh karena itu, jika jawaban semantik untuk kueri pencarian ditemukan di akhir dokumen panjang (di luar batas token 8.960), jawabannya tidak akan diberikan. Aturan yang sama berlaku untuk keterangan. Selain itu, konfigurasi semantik mencantumkan bidang pencarian yang relevan dalam urutan prioritas. Anda dapat menyusun ulang bidang dalam daftar ini untuk membantu menyesuaikan relevansi agar lebih sesuai dengan kebutuhan Anda.

Untuk memastikan performa optimal dalam skenario mereka, pelanggan harus melakukan evaluasi mereka sendiri atas solusi yang mereka terapkan dengan menggunakan ranker semantik. Pelanggan umumnya harus mengikuti proses evaluasi yang: (1) menggunakan beberapa pemangku kepentingan internal untuk mengevaluasi hasil, (2) menggunakan eksperimen A/B untuk meluncurkan peringkat semantik kepada pengguna, (3) menggabungkan KPI dan pemantauan metrik ketika layanan disebarkan dalam pengalaman untuk pertama kalinya, dan (4) menguji dan mengubah konfigurasi peringkat semantik dan/atau definisi indeks, termasuk pengalaman di sekitarnya seperti penempatan antarmuka pengguna atau proses bisnis.

Jika Anda mengembangkan aplikasi di domain atau industri berkemampuan tinggi, seperti layanan kesehatan, sumber daya manusia, pendidikan, atau bidang hukum, menilai seberapa baik aplikasi bekerja dalam skenario Anda, menerapkan pengawasan manusia yang kuat, mengevaluasi seberapa baik pengguna memahami batasan aplikasi, dan mematuhi semua hukum yang relevan. Pertimbangkan mitigasi lain berdasarkan skenario Anda.

Batasan teknis, faktor operasional, dan rentang

Mungkin ada kasus di mana kueri sintetis salah, disertai dengan terlalu banyak batasan, atau terlalu mahal. Penulisan ulang kueri mendukung berbagai bahasa dan upaya untuk menulis ulang kueri pengguna untuk memaksimalkan pengenalan, diperlukan untuk menentukan bahasa kueri sebagai input. Penulisan ulang kueri adalah bagian dari Semantic Ranker (fitur Pencarian Azure AI untuk meningkatkan relevansi pencarian), yang merupakan fitur premium dengan biaya tambahan. Ini harus dipertimbangkan ketika memproyeksikan pengeluaran keseluruhan solusi end-to-end Anda. Penulisan ulang kueri hanya dapat digunakan jika Anda mengaktifkan ranker semantik.

Sebelum menggunakan penulisan ulang kueri di lingkungan produksi (versi langsung aplikasi Anda), penting untuk melakukan pengujian lebih lanjut dan untuk memastikan bahwa kueri sintetis sesuai untuk kasus penggunaan yang dimaksudkan. Untuk informasi selengkapnya dan contoh cara mengevaluasi penulisan ulang kueri, lihat konten dan lampiran di sini.

Performa sistem

Dengan model bahasa alami skala besar, dua pengguna yang berbeda dapat melihat output yang sama dan memiliki pendapat yang berbeda tentang seberapa berguna atau relevan, yang berarti bahwa performa untuk sistem ini harus didefinisikan lebih fleksibel. Di sini, kami secara luas mempertimbangkan performa yang berarti bahwa aplikasi berfungsi seperti yang Anda dan pengguna Anda harapkan, termasuk tidak menghasilkan output berbahaya.

Performa penulisan ulang kueri bervariasi tergantung pada penggunaan dan kondisi dunia nyata di mana orang menggunakannya. Kualitas kueri sintetis yang disediakan oleh model penulisan ulang kueri berkorelasi langsung dengan kueri pencarian asli.

Untuk memastikan performa optimal dalam skenario mereka, pelanggan harus melakukan evaluasi mereka sendiri atas solusi yang mereka terapkan dengan menggunakan penulisan ulang kueri. Pelanggan umumnya harus mengikuti proses evaluasi yang:

1. menggunakan beberapa pemangku kepentingan internal untuk mengevaluasi hasil,
2. menggunakan eksperimen A/B untuk meluncurkan penulisan ulang kueri kepada pengguna, dan
3. menggabungkan KPI dan pemantauan metrik saat layanan disebarkan dalam pengalaman untuk pertama kalinya

Praktik terbaik untuk meningkatkan performa sistem

• Selesaikan pengujian A/B untuk aplikasi Anda dengan jenis kueri yang berbeda (Teks lengkap, Vektor, Hibrid, atau jenis kueri lainnya). Ketahui mana pengalaman penelusuran yang terbaik untuk kebutuhan Anda.
• Jangan selalu berasumsi bahwa setiap kueri sintetis yang dihasilkan oleh penulisan ulang kueri akan mencerminkan niat yang tepat dari kueri asli. Kueri sintetis dihasilkan oleh SLM yang disempurnakan, yang menghasilkan kueri secara semantik mirip dengan niat kueri asli tetapi mungkin tidak cocok dengan niat yang tepat.

Evaluasi penulisan ulang kueri

Metode evaluasi

Penulisan ulang kueri dievaluasi melalui pengujian internal, termasuk penilaian otomatis dan manusia pada beberapa himpunan data serta umpan balik dari pelanggan internal. Pengujian termasuk mengevaluasi relevansi hasil peringkat semantik yang dikombinasikan dengan penulisan ulang kueri dibandingkan dengan relevansi hasil dengan peringkat semantik saja.

Hasil evaluasi

Setiap model kandidat dibandingkan langsung dengan model yang saat ini disebarkan dengan menggunakan metrik yang cocok untuk fitur yang dievaluasi. Model penulisan ulang kueri disetel dan dievaluasi dengan menggunakan berbagai data publik yang mewakili kueri yang memiliki properti yang berbeda (bahasa, panjang, pemformatan, gaya, dan nada) untuk mendukung array skenario pencarian terluas. Data pelatihan dan pengujian kami diambil dari:

Sumber dokumen:

• Tolok ukur akademik dan industri
• Data pelanggan (hanya pengujian, dilakukan dengan izin pelanggan)

Sumber permintaan pencarian:

• Set kueri pembandingan
• Set kueri yang disediakan pelanggan (hanya pengujian, dilakukan dengan izin pelanggan)
• Kumpulan kueri sintetis
• Set kueri buatan manusia

Sumber label untuk memberi skor pada pasangan kueri dan dokumen:

• Label tolok ukur untuk akademik dan industri
• Label pelanggan (hanya pengujian, dilakukan dengan izin pelanggan)
• Label data sintetis
• Label yang dinilai oleh manusia

Mengevaluasi dan mengintegrasikan penulisan ulang kueri untuk penggunaan Anda

Saat penulisan ulang kueri dilatih pada konten publik, kueri sintetis akan bervariasi tergantung pada kueri yang diajukan kepadanya. Jadi, penting untuk menggunakan penilaian dan penelitian Anda sendiri ketika Anda menggunakan konten ini untuk pengambilan keputusan.

Batasan teknis, faktor operasional, dan rentang

Meskipun keterampilan GenAI Prompt menawarkan kemampuan yang kuat, sangat penting untuk mengenali batasan tertentu:

• Keterampilan ini bergantung pada filter konten yang dikonfigurasi pelanggan dalam Foundry. Pencarian Azure AI tidak menyediakan mekanisme keamanan konten tambahan untuk keterampilan ini.
• Kualitas konten yang dihasilkan AI tergantung pada efektivitas perintah dan model bahasa yang mendasar. Pengujian menyeluruh diperlukan untuk memastikan output memenuhi standar yang diinginkan.
• Memproses data dalam volume besar dengan perintah kompleks mungkin memerlukan sumber daya komputasi yang signifikan dan dapat menyebabkan latensi. Rencanakan dan alokasikan sumber daya dengan bijaksana untuk tidak hanya menjaga performa dan efektivitas biaya, tetapi juga untuk mencegah kemungkinan keterlambatan dalam pemrosesan data.

Performa sistem

Praktik terbaik untuk meningkatkan performa sistem

Untuk mengoptimalkan performa keterampilan GenAI Prompt:

• Gunakan alat sesi debug Pencarian Azure AI untuk menguji perintah pada dokumen sampel, memastikan konten yang dihasilkan AI selaras dengan harapan sebelum penyebaran penuh.
• Buat permintaan yang jelas dan terperinci untuk memandu model bahasa secara efektif, mengurangi kemungkinan output yang tidak relevan atau tidak akurat.
• Pantau performa sistem dan skalakan sumber daya sesuai kebutuhan untuk menangani tuntutan komputasi pemrosesan AI.
• Dorong pengawasan manusia terhadap output sebelum publikasi atau penyebaran. Dengan AI generatif, ada potensi untuk menghasilkan konten yang mungkin menyinggung atau tidak relevan dengan tugas yang ditangani.

Evaluasi keterampilan GenAI Prompt

Mengevaluasi dan mengintegrasikan keterampilan GenAI Prompt untuk penggunaan Anda

Untuk memaksimalkan manfaat keterampilan GenAI Prompt dalam konteks spesifik Anda, pertimbangkan langkah-langkah berikut:

• Tentukan tujuan pengayaan tertentu, seperti menghasilkan ringkasan ringkasan, mengekstrak entitas utama, atau membuat metadata deskriptif, untuk menyelaraskan aplikasi keterampilan dengan kebutuhan bisnis Anda.
• Mulailah dengan subset data Anda untuk menilai performa keterampilan dan membuat penyesuaian yang diperlukan. Pendekatan ini memungkinkan eksperimen dan penyempurnaan terkontrol sebelum penyebaran skala penuh.
• Buat mekanisme untuk memantau kualitas dan dampak konten yang dihasilkan AI. Minta umpan balik dari pengguna akhir untuk mengidentifikasi area untuk perbaikan dan memastikan data yang diperkaya memenuhi harapan pengguna.

Batasan teknis, faktor operasional, dan rentang

Mungkin ada kasus di mana subkueri yang dihasilkan LLM tidak relevan, terlalu ketat, atau menaikkan biaya token. Pengambilan agenik mendukung semua bahasa yang ditangani oleh keluarga GPT-4o, tetapi kualitas rencana kueri yang dihasilkan masih tergantung pada kejelasan input pengguna. Karena "agentic retrieval" bergantung pada peringkat semantik untuk setiap subkueri, Anda harus mengaktifkan peringkat semantik pada indeks. Peringkat semantik adalah fitur premium berbasis token; meskipun biaya peringkat dibebaskan selama fase awal pratinjau publik, biaya tersebut akan berlaku nanti dan harus diperhitungkan dalam total biaya kepemilikan.

Sebelum memindahkan pengambilan agentik ke lingkungan produksi, lakukan pengujian tambahan untuk mengonfirmasi bahwa subkueri dan bagian-bagian yang dikembalikan memadai untuk kasus penggunaan yang diinginkan, latensi dan biaya tersebut memenuhi tujuan tingkat layanan yang Anda harapkan, dan bahwa data dasar tidak mengekspos konten sensitif atau tidak sesuai.

Performa sistem

Seperti halnya sistem model bahasa skala besar, pengguna yang berbeda dapat mencapai penilaian yang berbeda tentang kegunaan atau relevansi bagian yang dikembalikan, sehingga performa harus didefinisikan secara fleksibel. Untuk pengambilan agenik, kami mempertimbangkan performa yang baik untuk berarti bahwa aplikasi end-to-end memberikan konten yang diharapkan pengguna Anda—tanpa latensi, biaya, atau output berbahaya yang tidak dapat diterima.

Efektivitas penarikan agenik bergantung pada banyak faktor nyatanya:

• Permintaan / panjang riwayat obrolan
• Jumlah subkueri yang dihasilkan LLM
• Ukuran dan skema indeks (kata kunci, vektor, hibrid)
• Pilihan model perencanaan (GPT-4o vs. GPT-4o-mini)
• Konfigurasi pencarian semantik dan ambang skor

Praktik terbaik untuk meningkatkan performa sistem

• Meringkas atau memangkas giliran obrolan yang lebih lama untuk menjaga penggunaan token tetap rendah.
• Sesuaikan ambang peringkat sehingga hanya bagian yang sangat relevan yang dikembalikan
• Gunakan filter jika memungkinkan

Evaluasi pengambilan data agenik

Pengambilan agenik telah dievaluasi melalui pengujian internal, termasuk penilaian otomatis dan manusia pada beberapa himpunan data. Pengujian termasuk mengevaluasi relevansi hasil pengambilan agenik dibandingkan dengan hasil dengan peringkat semantik saja.

Metode evaluasi

Setiap konfigurasi pengambilan agen kandidat, yang ditetapkan oleh prompt perencananya, varian model, jumlah subkueri, dan ambang batas peringkat, dievaluasi secara langsung terhadap tolok ukur produksi. Kami menerapkan serangkaian metrik relevansi, keamanan, latensi, dan biaya yang dipilih khusus untuk skenario pengambilan multi-kueri. Untuk memastikan keandalan di seluruh kasus penggunaan dunia nyata, penyetelan dan pengujian dilakukan pada campuran luas himpunan data publik dan yang disetujui pelanggan yang bervariasi dalam bahasa, panjang kueri, pemformatan, gaya, dan nada percakapan. Materi pengujian bersumber dari:

Sumber dokumen:

• Tolok ukur akademik dan industri
• Data pelanggan (hanya pengujian, dilakukan dengan izin pelanggan)
• Sumber permintaan pencarian:
• Set kueri pembandingan
• Set kueri yang disediakan pelanggan (hanya pengujian, dilakukan dengan izin pelanggan)
• Kumpulan kueri sintetis
• Set kueri buatan manusia

Sumber label untuk memberi skor pada pasangan kueri dan dokumen:

• Label tolok ukur untuk akademik dan industri
• Label pelanggan (hanya pengujian, dilakukan dengan izin pelanggan)
• Label data sintetis
• Label yang dinilai oleh manusia

Mengevaluasi dan mengintegrasikan pengambilan data agenik untuk kebutuhan Anda

Karena perencana pengambilan agenik sebagian besar dilatih pada data publik, kualitas dan relevansi subkueri yang dihasilkan akan bervariasi menurut domain Anda dan permintaan pengguna tertentu. Untuk memaksimalkan manfaat dari pengambilan berbasis agen dalam konteks spesifik Anda, pertimbangkan langkah-langkah berikut:

• Validasi output sebelum menggunakannya untuk mendorong keputusan penting bisnis: Periksa secara manual sampel subkueri yang dihasilkan dan dokumen yang dikembalikan untuk mengonfirmasi bahwa mereka selaras dengan persyaratan terminologi, akurasi, dan kepatuhan domain.
• Berikan informasi khusus domain kepada perencana. Berikan peta sinonim, dan riwayat percakapan lengkap sehingga LLM dapat memparafrasekan dan menguraikan kueri dalam bahasa yang cocok dengan konten Anda, meningkatkan pengenalan dan presisi.
• Menerapkan logika fallback atau pagar pembatas: Jika perencana menghasilkan subkueri dengan keyakinan rendah atau di luar cakupan, alihkan permintaan ke pencarian kata kunci atau vektor yang lebih sederhana, atau munculkan permintaan klarifikasi kepada pengguna, mencegah jawaban yang tidak dapat diandalkan memengaruhi tahap selanjutnya.