Retrieval-augmented generation (RAG) pada Pencarian Azure AI

Retrieval-augmented generation (RAG) adalah pola yang memperluas kemampuan LLM dengan mengaitkan respons ke dalam konten milik Anda. Meskipun secara konseptual sederhana, implementasi RAG menghadapi tantangan yang signifikan.

Tantangan RAG

Bagaimana Pencarian Azure AI memenuhi tantangan RAG

Pencarian Azure AI menyediakan dua pendekatan yang dirancang khusus untuk tantangan RAG ini:

• Pengambilan berbasis agen: pipeline RAG yang lengkap dengan perencanaan kueri berbasis LLM (pratinjau), akses ke berbagai sumber, dan respons terstruktur yang dioptimalkan untuk digunakan oleh agen.

• Pola RAG klasik: Pendekatan yang terbukti menggunakan pencarian hibrid dan peringkat semantik, ideal untuk persyaratan yang lebih sederhana atau ketika fitur yang tersedia secara umum (GA) diperlukan.

Bagian berikut menjelaskan bagaimana setiap pendekatan memecahkan tantangan RAG tertentu.

Mengatasi tantangan pemahaman kueri

Masalahnya: Pengguna bertanya "Apa kebijakan PTO kami untuk pekerja jarak jauh yang dipekerjakan setelah 2023?" tetapi dokumen mengatakan "waktu libur," "telekomunikasi," dan "karyawan terbaru."

Solusi pengambilan agenik:

• LLM menganalisis pertanyaan dan menghasilkan beberapa subkueri yang ditargetkan.
• Menguraikan pertanyaan kompleks ke dalam pencarian yang berfokus.
• Menggunakan riwayat percakapan untuk memahami konteks.
• Eksekusi paralel pada berbagai sumber pengetahuan.

Solusi RAG klasik:

• Kueri hibrid menggabungkan kata kunci dan pencarian vektor untuk pengenalan yang lebih baik.
• Peringkat semantik menilai ulang hasil berdasarkan makna, bukan hanya kata kunci.
• Pencarian kesamaan vektor mencocokkan konsep-konsep, bukan istilah yang tepat.

Pelajari selengkapnya tentang perencanaan kueri (pratinjau).

Memecahkan tantangan data dari berbagai sumber

Masalahnya: Kebijakan SDM di SharePoint, manfaat dalam database, berita perusahaan di halaman web - membuat salinan mengganggu tata kelola dan operasi data rutin.

Solusi pengambilan agenik:

• Pangkalan pengetahuan menyatukan beberapa sumber pengetahuan.
• Kueri langsung terhadap SharePoint dan Bing jarak jauh (tidak diperlukan pengindeksan) untuk melengkapi konten indeks.
• Instruksi pengambilan memandu LLM ke sumber data yang sesuai.
• Pembuatan alur pengindeksan otomatis untuk Azure Blob, OneLake, konten SharePoint yang diambil atau diproses, serta konten eksternal lainnya yang diambil atau diproses.
• Antarmuka kueri tunggal dan rencana kueri di semua sumber.

Solusi RAG klasik:

• Pengindeks mengambil dari lebih dari 10 sumber data Azure.
• Alur keterampilan untuk pemotongan, vektorisasi, verbalisasi gambar, dan analisis.
• Pengindeksan inkremental menjaga konten tetap segar.
• Anda mengontrol apa yang diindeks dan bagaimana.

Pelajari selengkapnya tentang sumber pengetahuan.

Memecahkan tantangan batasan token

Masalahnya: GPT-4 menerima sekitar 128k token, tetapi Anda memiliki 10.000 halaman dokumentasi. Mengirim semuanya membuang-buang token dan menurunkan kualitas.

Solusi pengambilan agenik:

• Mengembalikan respons terstruktur hanya dengan potongan yang paling relevan
• Pelacakan kutipan bawaan menunjukkan asal-usul
• Log aktivitas kueri menjelaskan apa yang dicari
• Sintesis jawaban opsional mengurangi penggunaan token lebih lanjut

Solusi RAG klasik:

• Peringkat semantik mengidentifikasi 50 hasil paling relevan
• Batas hasil yang dapat dikonfigurasi (top-k untuk vektor, top-n untuk teks) dan ambang minimum
• Profil pemeringkatan meningkatkan konten penting
• Pernyataan Select mengendalikan kolom mana yang dikembalikan

Pelajari selengkapnya tentang penyetelan relevansi.

Memecahkan tantangan waktu respons

Masalahnya: Pengguna mengharapkan jawaban dalam 3-5 detik, tetapi Anda mengkueri beberapa sumber dengan pemrosesan yang kompleks.

Solusi pengambilan agenik:

• Eksekusi subkueri paralel (tidak berurutan)
• Upaya penalaran yang dapat disesuaikan (minimal/rendah/sedang)
• Peringkat semantik bawaan (tanpa orkestrasi tambahan)

Solusi RAG klasik:

• Waktu respons kueri milidetik
• Kueri satu kali mengurangi kompleksitas
• Anda mengontrol waktu habis dan logika pengulangan
• Arsitektur yang lebih sederhana dengan lebih sedikit titik kegagalan

Memecahkan tantangan keamanan

Masalahnya: Data keuangan hanya boleh diakses oleh tim keuangan, bahkan ketika seorang eksekutif bertanya kepada chatbot.

Solusi pengambilan agenik:

• Kontrol akses tingkat sumber pengetahuan
• Mewarisi izin SharePoint untuk permintaan terhadap SharePoint jarak jauh
• Mewarisi metadata izin ID Microsoft Entra untuk konten terindeks dari Azure Storage
• Keamanan berbasis filter pada waktu kueri untuk sumber data lain
• Isolasi jaringan melalui titik akhir privat

Solusi RAG klasik:

• Pemangkasan keamanan tingkat dokumen
• Mewarisi metadata izin ID Microsoft Entra untuk konten terindeks dari Azure Storage
• Keamanan berbasis filter pada waktu kueri untuk sumber data lain
• Isolasi jaringan melalui titik akhir privat

Pelajari selengkapnya tentang keamanan.

RAG modern dengan pengambilan berbasis agen

Pencarian Azure AI adalah solusi yang terbukti untuk beban kerja RAG. Sekarang menyediakan pengambilan agenik, alur khusus yang dirancang khusus untuk pola RAG. Pendekatan ini menggunakan LLM untuk secara cerdas memecah kueri pengguna yang kompleks menjadi subkueri yang berfokus, menjalankannya secara paralel, dan mengembalikan respons terstruktur yang dioptimalkan untuk model penyelesaian obrolan.

Pengambilan agenik mewakili evolusi dari pola RAG kueri tunggal tradisional hingga pengambilan cerdas multi-kueri, menyediakan:

• Perencanaan kueri sadar konteks menggunakan riwayat percakapan
• Eksekusi paralel dari beberapa subkueri yang berfokus
• Respons terstruktur dengan data dasar, kutipan, dan metadata eksekusi
• Peringkat semantik bawaan untuk relevansi optimal
• Sintesis jawaban opsional yang menggunakan jawaban yang diformulasikan LLM dalam respons kueri

Anda memerlukan objek baru untuk alur ini: satu atau beberapa sumber pengetahuan (masing-masing satu poin ke konten yang dapat dicari, seperti indeks pencarian atau situs SharePoint jarak jauh), pangkalan pengetahuan (objek yang dapat dikueri yang menyatukan sumber tersebut), dan mengambil tindakan yang Anda panggil dari kode aplikasi, seperti alat yang bekerja dengan agen AI Anda.

Untuk implementasi RAG baru, mulailah dengan pengambilan agenik. Untuk solusi yang ada, pertimbangkan untuk bermigrasi untuk memanfaatkan peningkatan akurasi dan pemahaman konteks.

Pola RAG klasik untuk Pencarian Azure AI

RAG klasik menggunakan arsitektur eksekusi kueri yang asli, di mana aplikasi Anda mengirim satu kueri ke Pencarian Azure AI dan mengatur pemindahan ke LLM secara terpisah. LLM yang Anda terapkan merumuskan jawaban menggunakan hasil yang sudah diratakan dari kueri. Pendekatan ini lebih sederhana dengan lebih sedikit komponen, dan lebih cepat karena tidak ada keterlibatan LLM dalam perencanaan kueri.

Untuk informasi terperinci tentang menerapkan RAG klasik, lihat repositori azure-search-classic-rag.

Persiapan konten untuk RAG

Kualitas RAG tergantung pada cara Anda menyiapkan konten untuk pengambilan. Pencarian Azure AI mendukung:

Untuk pengambilan agenik: Gunakan sumber pengetahuan yang menghasilkan alur pemotongan dan vektorisasi secara otomatis.

Untuk RAG klasik: Gunakan pengindeks dan set keterampilan untuk membangun alur kustom, atau mendorong konten yang telah diproses sebelumnya melalui API pendorongan.

Memaksimalkan relevansi dan pengenalan

Bagaimana Anda memberikan data grounding terbaik untuk rumusan jawaban LLM? Ini adalah kombinasi dari memiliki konten yang sesuai, kueri cerdas, dan logika kueri yang dapat mengidentifikasi gugus terbaik untuk menjawab pertanyaan.

Selama pengindeksan, gunakan penggugusan untuk membagi dokumen besar sehingga bagian dapat dicocokkan secara independen. Sertakan langkah vektorisasi untuk membuat penyematan yang digunakan untuk kueri vektor.

Pada sisi kueri, untuk memastikan hasil yang paling relevan untuk penerapan RAG Anda:

• Gunakan kueri hibrid yang menggabungkan kata kunci (nonvektor) dan pencarian vektor untuk pengenalan maksimum. Dalam kueri hibrid, jika Anda menggandakan input yang sama, string teks dan setara vektornya menghasilkan kueri paralel untuk kata kunci dan pencarian kesamaan, mengembalikan kecocokan yang paling relevan dari setiap jenis kueri dalam kumpulan hasil terpadu.

• Gunakan peringkat semantik, yang disertakan dalam pengambilan agenik, opsional untuk RAG klasik.

• Terapkan profil penilaian untuk meningkatkan bidang atau kriteria tertentu.

• Sesuaikan dengan parameter kueri vektor untuk pembobotan vektor dan ambang minimum.

Untuk informasi selengkapnya, lihat pencarian hibrid dan peringkat semantik.

Pilih antara pengambilan agenik dan RAG klasik

Gunakan pengambilan agentik saat:

• Klien Anda adalah agen atau chatbot.
• Anda membutuhkan relevansi dan akurasi setingkat mungkin.
• Kueri Anda mungkin bersifat kompleks atau menyerupai percakapan.
• Anda ingin respons terstruktur dengan kutipan dan detail kueri.
• Anda sedang membangun implementasi RAG baru.

Gunakan RAG klasik saat:

• Anda hanya memerlukan fitur (GA) yang tersedia secara umum.
• Kesederhanaan dan kecepatan adalah prioritas daripada relevansi tingkat lanjut.
• Anda memiliki kode orkestrasi yang sudah ada yang ingin Anda pertahankan.
• Anda memerlukan kontrol terperinci atas alur kueri.

Solusi RAG yang mencakup agen dan Pencarian Azure AI dapat memperoleh manfaat dari Foundry IQ, sebagai titik akhir tunggal agen ke lapisan pengetahuan yang menyediakan data dasar. Foundry IQ menggunakan metode pengambilan berunsur agen.

Pelajari selengkapnya tentang pencarian klasik, pengambilan agenik, dan bagaimana perbandingannya.

Cara memulai

Ada banyak cara untuk memulai, termasuk solusi code-first dan demo.