Mencari melalui konten Azure Blob Storage

Mencari di berbagai jenis konten yang disimpan di Azure Blob Storage dapat menjadi masalah yang sulit untuk diselesaikan, tetapi Pencarian Azure AI menyediakan integrasi mendalam di lapisan konten, mengekstrak dan menyimpulkan informasi tekstual, yang kemudian dapat dikueri dalam indeks pencarian.

Dalam artikel ini, tinjau alur kerja dasar untuk mengekstrak konten dan metadata dari blob dan mengirimkannya ke indeks pencarian di Pencarian Azure AI. Indeks yang dihasilkan dapat dikueri menggunakan pencarian teks lengkap atau pencarian vektor. Secara opsional, Anda dapat mengirim konten blob yang diproses ke penyimpanan pengetahuan untuk skenario non-pencarian.

Apa artinya menambahkan pencarian melalui data blob

Pencarian Azure AI adalah layanan pencarian mandiri yang mendukung beban kerja pengindeksan dan kueri melalui indeks yang ditentukan pengguna yang berisi konten privat yang dapat dicari yang dihosting di cloud. Menempatkan konten yang dapat dicari bersama mesin kueri di cloud penting untuk demi performa yang optimal, menyediakan hasil dengan kecepatan yang diharapkan pengguna dari pencarian kueri.

Pencarian Azure AI terintegrasi dengan Azure Blob Storage pada lapisan pengindeksan, mengimpor konten blob Anda menjadi dokumen pencarian yang diindeks ke dalam indeks terbalik serta struktur kueri lainnya yang mendukung kueri teks bentuk bebas, kueri vektor, dan ekspresi filter. Karena konten blob Anda diindeks ke dalam indeks pencarian, Anda bisa menggunakan berbagai fitur kueri di Pencarian Azure AI untuk menemukan informasi dalam konten blob Anda.

Masukan adalah blob Anda, dalam satu kontainer, di Azure Blob Storage. Blob dapat berupa hampir semua jenis data teks. Jika blob berisi gambar, Anda dapat menambahkan pengayaan AI untuk membuat dan mengekstrak teks dan fitur dari gambar.

Output selalu merupakan indeks Pencarian Azure AI, digunakan untuk pencarian teks cepat, pengambilan, dan eksplorasi dalam aplikasi klien. Di antara keduanya terdapat arsitektur alur pengindeksan itu sendiri. Alur didasarkan pada fitur pengindeks, yang akan dibahas lebih lanjut di artikel ini.

Setelah indeks dibuat dan diisi, indeks tersebut ada secara independen dari kontainer blob Anda, tetapi Anda dapat menjalankan ulang operasi pengindeksan untuk me-refresh indeks Anda berdasarkan dokumen yang diubah. Informasi tanda waktu pada blob individu digunakan untuk mendeteksi perubahan. Anda dapat memilih eksekusi terjadwal atau pengindeksan sesuai permintaan sebagai mekanisme refresh.

Sumber daya yang digunakan dalam solusi pencarian blob

Anda memerlukan Pencarian Azure AI, Azure Blob Storage, dan klien. Pencarian Azure AI biasanya merupakan salah satu dari beberapa komponen dalam solusi, di mana kode aplikasi Anda mengeluarkan permintaan API kueri dan menangani respons. Anda juga dapat menulis kode aplikasi untuk menangani pengindeksan, meskipun untuk pengujian bukti konsep dan tugas dadakan, biasanya menggunakan portal Azure sebagai klien pencarian.

Dalam Blob Storage, Anda memerlukan kontainer yang menyediakan konten sumber. Anda dapat mengatur kriteria penyertaan dan pengecualian file, dan menentukan bagian blob mana yang diindeks di Pencarian Azure AI.

Anda dapat mulai langsung di halaman portal Akun Penyimpanan Anda.

1. Di halaman navigasi kiri di bawah Manajemen data, pilih Pencarian Azure AI untuk memilih atau membuat layanan pencarian.

2. Gunakan wizard impor untuk mengekstrak dan secara opsional membuat konten yang dapat dicari dari blob Anda. Alur kerja membuat pengindeks, sumber data, indeks, dan set keterampilan opsional di layanan Pencarian Azure AI Anda.

   

3. Gunakan Penjelajah pencarian di halaman portal pencarian untuk mengkueri konten Anda.

Wizard adalah tempat terbaik untuk memulai, tetapi Anda akan menemukan opsi yang lebih fleksibel saat mengonfigurasi pengindeks blob sendiri. Anda dapat menggunakan klien REST. Tutorial: Mengindeks dan mencari data semi terstruktur (blob JSON) memandul Anda melalui langkah-langkah memanggil REST API.

Bagaimana blob diindeks

Secara default, sebagian besar blob diindeks sebagai dokumen pencarian tunggal dalam indeks, termasuk blob dengan konten terstruktur, seperti JSON atau CSV, yang diindeks sebagai potongan teks tunggal. Namun, untuk dokumen JSON atau CSV yang memiliki struktur internal (pemisah), Anda dapat menetapkan mode penguraian untuk menghasilkan dokumen pencarian individual untuk setiap baris atau elemen:

• Mengindeks blob JSON
• Mengindeks berkas CSV
• Mengindeks berkas Markdown
• Mengindeks blob teks biasa

Dokumen gabungan atau tersemat (seperti arsip ZIP, dokumen Word dengan email Outlook tersemat yang berisi lampiran, atau . File MSG dengan lampiran) juga diindeks sebagai satu dokumen. Misalnya, semua gambar yang diekstrak dari lampiran file an .MSG akan dikembalikan di kolom normalized_images. Jika Anda memiliki gambar, pertimbangkan untuk menambahkan pengayaan AI untuk mendapatkan lebih banyak utilitas pencarian dari konten tersebut.

Konten tekstual dokumen diekstrak ke dalam bidang string bernama "konten". Anda juga dapat mengekstrak metadata standar dan yang ditentukan pengguna.

Menggunakan pengindeks blob untuk ekstraksi konten

Pengindeks adalah subservis sadar sumber data di Pencarian Azure AI, dilengkapi dengan logika internal untuk mengambil sampel data, membaca dan mengambil data dan metadata, dan menserialisasikan data dari format asli ke dalam dokumen JSON untuk impor berikutnya.

Blob di Azure Storage diindeks menggunakan pengindeks blob. Anda dapat memanggil pengindeks ini dengan menggunakan perintah Pencarian Azure AI di Azure Storage, Wizard impor data di portal Microsoft Azure, REST API, atau .NET SDK. Dalam pengkodean, Anda menggunakan pengindeks ini dengan mengatur jenisnya, dan dengan menyediakan informasi koneksi yang menyertakan akun Azure Storage bersama dengan kontainer blob. Anda dapat memisahkan subset blob Anda dengan membuat direktori virtual, yang kemudian dapat Anda jadikan sebagai parameter, atau dengan memfilter berdasarkan ekstensi jenis file.

Pengindeks "memecah dokumen", membuka blob untuk memeriksa konten. Setelah menyambungkan ke sumber data, ini adalah langkah pertama dalam alur. Untuk data blob, dalam langkah ini PDF, dokumen Microsoft Office, gambar, dan jenis konten lainnya dideteksi. Pemecahan dokumen dengan ekstraksi teks tidak dikenakan biaya. Jika blob Anda berisi konten gambar, gambar akan diabaikan kecuali Anda menambahkan pengayaan AI. Pengindeksan standar hanya berlaku untuk konten teks.

Pengindeks blob Azure dilengkapi dengan parameter konfigurasi dan mendukung pelacakan perubahan jika data yang mendasar memberikan informasi yang memadai. Anda dapat mempelajari selengkapnya tentang fungsionalitas inti dalam Data indeks dari Azure Blob Storage.

Tingkat akses yang didukung

Tingkat akses penyimpanan Blob termasuk panas, sejuk, dingin, dan arsip. Pengindeks dapat mengambil blob pada tingkat akses panas, sejuk, dan dingin.

Jenis konten yang didukung

Dengan menjalankan pengindeks blob melalui kontainer, Anda dapat mengekstrak teks dan metadata dari tipe konten berikut dengan satu kueri:

• CSV (lihat Mengindeks blob CSV)
• EML
• EPUB
• GZ
• HTML
• JSON (lihat Pengindeksan blob JSON)
• KML (XML untuk representasi geografis)
• Markdown
• Format Microsoft Office: DOCX/DOC/DOCM, XLSX/XLS/XLSM, PPTX/PPT/PPTM, MSG (email Outlook), XML (XML WORD 2003 dan 2006)
• Format Dokumen Terbuka: ODT, ODS, ODP
• PDF
• File teks biasa (lihat juga Mengindeks teks biasa)
• RTF
• XML
• ZIP

Mengontrol blob mana yang diindeks

Anda dapat mengontrol blob mana yang diindeks, dan yang dilewati, oleh jenis file blob atau dengan mengatur properti pada blob itu sendiri, menyebabkan pengindeks melewatkannya.

Sertakan ekstensi file tertentu dengan mengatur "indexedFileNameExtensions" ke daftar ekstensi file yang dipisahkan koma (dengan titik terdepan). Kecualikan ekstensi file tertentu dengan mengatur "excludedFileNameExtensions" ke ekstensi yang harus dikecualikan. Jika ekstensi yang sama ada di kedua daftar, ekstensi tersebut dikecualikan dari pengindeksan.

PUT /indexers/[indexer name]?api-version=2026-04-01
{
    "parameters" : { 
        "configuration" : { 
            "indexedFileNameExtensions" : ".pdf, .docx",
            "excludedFileNameExtensions" : ".png, .jpeg" 
        } 
    }
}

Tambahkan metadata "skip" pada objek data blob

Parameter konfigurasi pengindeks berlaku untuk semua blob dalam kontainer atau folder. Terkadang, Anda ingin mengontrol bagaimana masing-masing blob diindeks.

Tambahkan properti metadata dan nilai berikut ke blob di Blob Storage. Ketika pengindeks menemukan properti ini, pengindeks melompati blob atau kontennya dalam siklus pengindeksan.

Mengindeks metadata blob

Skenario umum yang memudahkan untuk mengurutkan blob dari jenis konten apa pun adalah mengindeks metadata kustom dan properti sistem untuk setiap blob. Dengan cara ini, informasi untuk semua blob diindeks terlepas dari jenis dokumen, disimpan dalam indeks di layanan pencarian Anda. Dengan menggunakan indeks baru, Anda kemudian dapat melanjutkan untuk mengurutkan, memfilter, dan memfaset di semua konten penyimpanan Blob.

Mencari konten blob dalam indeks pencarian

Output dari pengindeks adalah indeks pencarian, yang digunakan untuk eksplorasi interaktif menggunakan teks bebas dan kueri yang difilter pada aplikasi klien. Untuk eksplorasi awal dan verifikasi konten, sebaiknya mulai dengan Search Explorer di portal Azure untuk memeriksa struktur dokumen. Di Penjelajah pencarian, Anda dapat menggunakan:

• Sintaks kueri sederhana
• Sintaks kueri penuh
• Sintaks ekspresi filter

Solusi yang lebih permanen adalah mengumpulkan input kueri dan menyajikan respons sebagai hasil pencarian dalam aplikasi klien.

Langkah berikutnya

• Mengunggah, mengunduh, dan mencantumkan blob dengan portal Azure (penyimpanan Blob Azure)
• Menyiapkan pengindeks blob (Pencarian Azure AI)
• Mengindeks himpunan data besar