Pencarian multimodal di Pencarian Azure AI

Pencarian multimodal mengacu pada kemampuan untuk menyerap, memahami, dan mengambil informasi di beberapa jenis konten, termasuk teks, gambar, video, dan audio. Dalam Pencarian Azure AI, pencarian multimodal secara asli mendukung penyerapan dokumen yang berisi teks dan gambar dan pengambilan kontennya, memungkinkan Anda melakukan pencarian yang menggabungkan kedua modalitas.

Membangun alur multimodal yang kuat biasanya melibatkan:

1. Mengekstrak gambar sebaris dan teks halaman dari dokumen.

2. Menjelaskan gambar dalam bahasa alami.

3. Menyematkan teks dan gambar ke dalam ruang vektor bersama.

4. Menyimpan gambar untuk digunakan nanti sebagai anotasi.

Pencarian multimodal juga mengharuskan mempertahankan urutan informasi seperti yang muncul di dokumen dan menjalankan kueri hibrid yang menggabungkan pencarian teks lengkap dengan pencarian vektor dan peringkat semantik.

Dalam praktiknya, aplikasi yang menggunakan pencarian multimodal dapat menjawab pertanyaan seperti "Apa proses untuk memiliki formulir SDM yang disetujui?" bahkan ketika satu-satunya deskripsi otoritatif dari proses berada di dalam diagram yang disematkan dalam file PDF.

Mengapa menggunakan pencarian multimodal?

Secara tradisional, pencarian multimodal memerlukan sistem terpisah untuk pemrosesan teks dan gambar, sering kali memerlukan kode kustom dan konfigurasi tingkat rendah dari pengembang. Mempertahankan sistem ini menimbulkan biaya, kompleksitas, dan upaya yang lebih tinggi.

Pencarian Azure AI mengatasi tantangan ini dengan mengintegrasikan gambar ke dalam alur pengambilan yang sama dengan teks. Dengan satu alur multimodal, Anda dapat menyederhanakan penyiapan dan membuka kunci informasi yang berada di bagan, cuplikan layar, infografis, formulir yang dipindai, dan visual kompleks lainnya.

Pencarian multimodal sangat ideal untuk skenario retrieval-augmented generation (RAG). Dengan menafsirkan logika struktural gambar, pencarian multimodal membuat aplikasi RAG atau agen AI Anda cenderung tidak mengabaikan detail visual penting. Ini juga memberi pengguna Anda jawaban terperinci yang dapat dilacak kembali ke sumber asli mereka, terlepas dari modalitas sumbernya.

Bagaimana cara kerja pencarian multimodal?

Untuk menyederhanakan pembuatan pipeline multimodal, Pencarian Azure AI menawarkan wizard Import data di portal Azure. Wizard ini membantu Anda mengonfigurasi sumber data, menentukan pengaturan ekstraksi dan pengayaan, dan menghasilkan indeks multimodal yang berisi teks, referensi gambar yang disematkan, dan penyematan vektor. Untuk informasi selengkapnya, lihat Quickstart: Pencarian multimodal di portal Azure.

Wizard mengikuti langkah-langkah ini untuk membuat alur multimodal:

1. Ekstraksi konten: Pilih keterampilan Document Extraction atau keterampilan Azure Content Understanding untuk memperoleh teks halaman, gambar inline, dan metadata struktural. Setiap keterampilan menawarkan kemampuan yang berbeda untuk ekstraksi metadata, penanganan tabel, dan dukungan format file. Untuk perbandingan terperinci, lihat Opsi untuk ekstraksi konten multimodal.

2. Potongan teks:Kemampuan Memisahkan Teks memecah teks yang diekstrak menjadi potongan yang dapat dikelola untuk digunakan dalam sisa alur kerja, seperti Keterampilan Penyematan.

3. Hasilkan deskripsi gambar:Keterampilan GenAI Prompt memverifikasi gambar, menghasilkan deskripsi bahasa alami yang ringkas untuk pencarian teks dan penyematan menggunakan model bahasa besar (LLM).

4. Hasilkan penyematan: Keterampilan penyematan membuat representasi vektor teks dan gambar, memungkinkan kesamaan dan pengambilan hibrid. Anda dapat memanggil model penyematan Azure OpenAI, Microsoft Foundry, atau Azure Vision (pratinjau) secara bawaan.

   Atau, Anda dapat melewati verbalisasi gambar dan meneruskan teks dan gambar yang diekstrak langsung ke model embedding multimodal melalui keterampilan AML atau keterampilan penyematan multimodal Azure Vision. Untuk informasi selengkapnya, lihat Opsi untuk penyematan konten multimodal.

5. Simpan gambar yang diekstrak: Penyimpanan pengetahuan berisi gambar yang diekstrak yang dapat dikembalikan langsung ke aplikasi klien. Saat Anda menggunakan wizard, lokasi gambar disimpan langsung di indeks multimodal, memungkinkan pengambilan yang nyaman selama waktu pencarian.

Opsi untuk ekstraksi konten multimodal

Alur multimodal dimulai dengan memecahkan setiap dokumen sumber menjadi potongan teks, gambar sebaris, dan metadata terkait. Untuk langkah ini, Pencarian Azure AI menyediakan dua keterampilan bawaan yang direkomendasikan:

• Keterampilan Ekstraksi Dokumen
• keterampilan Pemahaman Konten Azure

Keterampilan Tata Letak Dokumen tetap didukung untuk alur yang ada. Untuk kumpulan keterampilan baru, gunakan keterampilan Azure Content Understanding, yang menggabungkan ekstraksi konten dan pemenggalan ke dalam satu keterampilan serta mendukung pemenggalan semantik, deskripsi gambar yang dihasilkan AI, dan ekstraksi tabel lintas halaman.

Opsi untuk penyematan konten multimodal

Dalam Pencarian Azure AI, mengambil pengetahuan dari gambar dapat mengikuti dua jalur pelengkap: verbalisasi gambar atau penyematan langsung. Memahami perbedaan membantu Anda menyelaraskan biaya, latensi, dan menjawab kualitas dengan kebutuhan aplikasi Anda.

Verbalisasi gambar diikuti dengan penyematan teks

Dengan metode ini, kemampuan GenAI Prompt memanfaatkan LLM selama proses untuk membuat deskripsi bahasa alami ringkas dari setiap gambar yang diekstrak, seperti "Alur kerja akses SDM lima langkah yang dimulai dengan persetujuan manajer." Deskripsi disimpan sebagai teks dan disematkan bersama teks dokumen di sekitarnya, yang kemudian dapat divisualisasikan dalam bentuk vektor dengan memanggil model embedding Azure OpenAI, Microsoft Foundry, atau Azure Vision.

Karena gambar sekarang dinyatakan dalam bahasa, Pencarian Azure AI dapat:

• Menginterpretasikan hubungan dan entitas yang diperlihatkan dalam diagram.

• Berikan keterangan siap pakai yang dapat dikutip LLM secara verbatim sebagai respons.

• Menampilkan cuplikan yang relevan untuk aplikasi RAG atau skenario agen AI dengan data yang teruji.

Kedalaman semantik yang ditambahkan memerlukan panggilan LLM untuk setiap gambar dan peningkatan marginal dalam waktu pengindeksan.

Penyematan multimodal langsung

Opsi kedua adalah meneruskan gambar dan teks yang diekstrak dokumen ke model penyematan multimodal yang menghasilkan representasi vektor di ruang vektor yang sama. Konfigurasi mudah, dan tidak ada LLM yang diperlukan pada waktu pengindeksan. Penyematan langsung sangat cocok untuk kesamaan visual dan skenario "cari-sesuatu-yang-mirip-dengan-ini".

Karena representasinya murni matematika, itu tidak menyampaikan mengapa dua gambar terkait, dan tidak menawarkan konteks siap LLM untuk kutipan atau penjelasan terperinci.

Menggabungkan kedua pendekatan

Banyak solusi membutuhkan kedua jalur pengodean. Diagram, bagan alur, dan visual kaya penjelasan lainnya diverbalisasi sehingga informasi semantik tersedia untuk grounding agen RAG dan AI. Cuplikan layar, foto produk, atau karya seni disematkan langsung untuk pencarian kesamaan yang efisien. Anda dapat menyesuaikan indeks Pencarian Azure AI dan alur set keterampilan pengindeks sehingga dapat menyimpan dua set vektor dan mengambilnya secara berdampingan.

Opsi untuk mengkueri konten multimodal

Jika alur multimodal Anda didukung oleh keterampilan GenAI Prompt, Anda dapat menjalankan kueri hibrid melalui teks biasa dan gambar verbal dalam indeks pencarian Anda. Anda juga dapat menggunakan filter untuk mempersempit hasil pencarian ke jenis konten tertentu, seperti hanya teks atau hanya gambar.

Meskipun keterampilan GenAI Prompt mendukung kueri teks ke vektor melalui pencarian hibrid, keterampilan ini tidak mendukung kueri gambar-ke-vektor. Hanya model penyematan multimodal yang menyediakan alat vektorisasi untuk mengonversi gambar menjadi vektor saat proses kueri berlangsung.

Untuk menggunakan gambar sebagai input kueri untuk indeks multimodal, Anda harus menggunakan skill AML atau skill penyematan multimodal Azure Vision dengan vektorizer yang setara. Untuk informasi selengkapnya, lihat Mengonfigurasi vektorizer dalam indeks pencarian.

Tutorial dan sampel

Untuk membantu Anda memulai pencarian multimodal di Pencarian Azure AI, berikut adalah kumpulan konten yang menunjukkan cara membuat dan mengoptimalkan indeks multimodal menggunakan fungsionalitas Azure.