Mengindeks data dari file dan pintasan OneLake

Pengindeks file OneLake mengimpor konten dan metadata dari lakehouse di Microsoft OneLake dan membuat konten dapat dicari di Pencarian Azure AI.

Untuk mengonfigurasi dan menjalankan pengindeks, Anda dapat menggunakan:

• REST API Sumber Data dengan REST API Pengindeks
• Paket Azure SDK yang menyediakan fitur
• Panduan impor data di portal Azure.

Artikel ini menggunakan REST API untuk mengilustrasikan setiap langkah.

Prasyarat

• Ruang kerja Fabric. Ikuti tutorial ini untuk buat ruang kerja Fabric.

• Sebuah lakehouse di ruang kerja Fabric. Ikuti tutorial ini untuk membuat lakehouse.

• Data tekstual. Jika Anda memiliki data biner, Anda dapat menggunakan analisis gambar pengayaan AI untuk mengekstrak teks atau menghasilkan deskripsi gambar. Konten file tidak boleh melebihi batas pengindeks untuk tingkat layanan pencarian Anda.

  Pemrosesan file sumber dan pengayaan AI memiliki batas terpisah. Keterampilan hilir atau layanan eksternal dapat menerima lebih sedikit data daripada yang diekstrak pengindeks, jadi periksa artikel referensi untuk setiap keterampilan dalam keterampilan Anda.

• Konten yang tidak terstruktur di lokasi File di lakehouse Anda. Anda dapat menambahkan data dengan:

  • Unggah langsung ke lakehouse
  • Gunakan alur data dari Microsoft Fabric
  • Tambahkan pintasan dari sumber data eksternal seperti Amazon S3 atau Google Cloud Storage.

• Layanan Pencarian Azure AI, Tingkat harga Dasar atau yang lebih tinggi, dikonfigurasi untuk identitas terkelola sistem atau identitas terkelola yang ditetapkan pengguna. Layanan Pencarian Azure AI harus berada dalam penyewa yang sama dengan ruang kerja Microsoft Fabric.

• Penetapan peran Administrator atau Kontributor di ruang kerja Microsoft Fabric tempat lakehouse berada. Langkah-langkah diuraikan di bagian Berikan izin di artikel ini.

• Izinkan akses ke data OneLake dari aplikasi yang berada di luar lingkungan Fabric.

• Klien REST untuk merumuskan panggilan REST yang mirip dengan yang diperlihatkan dalam artikel ini.

Keterbatasan

• Jenis file parquet (termasuk parquet delta) saat ini tidak didukung.

• Penghapusan file tidak didukung untuk pintasan Amazon S3 dan Google Cloud Storage.

• Pengindeks ini tidak mendukung konten lokasi Tabel ruang kerja OneLake.

• Pengindeks ini tidak mendukung kueri SQL. Parameter query dalam konfigurasi sumber data hanya menentukan folder atau pintasan opsional untuk diindeks.

• Tidak ada dukungan untuk menyerap file dari ruang kerja Ruang Kerja Saya di OneLake karena ini adalah repositori pribadi per pengguna.

• Mengindeks file dari item Fabric dengan label sensitivitas, misalnya, lakehouses, tidak didukung. Namun, ketika label sensitivitas diterapkan langsung ke dokumen individual, penyerapan konten yang dilindungi dan label terkait didukung. Dalam kasus ini, Pencarian Azure AI dapat mengekstrak dan menghormati label sensitivitas dan konten dokumen berlabel melalui integrasinya dengan Purview (pratinjau).

• Izin berbasis peran ruang kerja di Microsoft OneLake dapat memengaruhi akses pengindeks ke file. Pastikan bahwa perwakilan layanan Pencarian Azure AI (identitas terkelola) memiliki izin yang memadai atas file yang ingin Anda akses di ruang kerja Microsoft Fabric target.

Tugas yang didukung

Anda dapat menggunakan pengindeks ini untuk tugas-tugas berikut:

• Pengindeksan data dan pengindeksan inkremental: Pengindeks dapat mengindeks file dan metadata terkait dari jalur data dalam lakehouse. Ini mendeteksi file dan metadata baru dan diperbarui melalui deteksi perubahan bawaan. Anda dapat mengonfigurasi refresh data sesuai jadwal atau sesuai permintaan.
• Deteksi penghapusan: Pengindeks dapat mendeteksi penghapusan melalui metadata kustom untuk sebagian besar file dan pintasan. Ini mengharuskan penambahan metadata ke file untuk menandakan bahwa metadata tersebut telah "dihapus sementara", memungkinkan penghapusannya dari indeks pencarian. Saat ini, tidak dimungkinkan untuk mendeteksi penghapusan di file pintasan Google Cloud Storage atau Amazon S3 karena metadata kustom tidak didukung untuk sumber data tersebut.
• Pengayaan AI terapan melalui skillsets:Skillsets didukung sepenuhnya oleh pengindeks file OneLake. Ini termasuk fitur utama seperti vektorisasi terintegrasi yang menambahkan langkah-langkah pemotongan dan penyematan data.
• Mode penguraian: Pengindeks mendukung mode penguraian JSON jika Anda ingin mengurai array atau baris JSON ke dalam dokumen pencarian individual. Ini juga mendukung mode penguraian Markdown.
• Kompatibilitas dengan fitur lain: Pengindeks OneLake dirancang untuk bekerja dengan mulus dengan fitur pengindeks lainnya, seperti sesi debug, cache pengindeks untuk pengayaan inkremental (pratinjau), dan penyimpanan pengetahuan.

Format dokumen yang didukung

Pengindeks file OneLake dapat mengekstrak teks dari format dokumen berikut:

• CSV (lihat Mengindeks blob CSV)
• EML
• EPUB
• GZ
• HTML
• JSON (lihat Pemrosesan Pangkalan Data JSON)
• KML (XML untuk representasi geografis)
• Markdown
• format Microsoft Office: DOCX/DOC/DOCM, XLSX/XLS/XLSM, PPTX/PPT/PPTM, MSG (email Outlook), XML (XML WORD 2003 dan 2006)
• Format Dokumen Terbuka: ODT, ODS, ODP
• PDF
• File teks biasa (lihat juga Mengindeks teks biasa)
• RTF
• XML
• ZIP

Pintasan yang didukung

Pintasan OneLake berikut didukung oleh pengindeks file OneLake:

• Pintasan ADLS Gen2

• Tautan OneLake (tautan ke instans OneLake lainnya)

• Pintasan Amazon S3

• Pintasan Google Cloud Storage

Menyiapkan data untuk pengindeksan

Sebelum menyiapkan pengindeksan, tinjau data sumber Anda untuk menentukan apakah Anda perlu melakukan perubahan pada data Anda di lakehouse. Pengindeks dapat mengindeks konten dari satu kontainer (lakehouse) pada satu waktu. Secara default, pengindeks memproses semua file di lakehouse. Untuk memproses file secara lebih selektif, pertimbangkan opsi berikut:

• Tempatkan file dalam folder virtual. Definisi sumber data pengindeks menyertakan parameter "kueri" yang dapat berupa subfolder atau pintasan lakehouse. Jika nilai ini ditentukan, hanya file-file di subfolder atau pintasan dalam lakehouse yang akan diindeks.

• Sertakan atau kecualikan file menurut jenis file. Daftar format dokumen yang didukung dapat membantu Anda menentukan file mana yang akan dikecualikan. Misalnya, Anda mungkin ingin mengecualikan file gambar atau audio yang tidak menyediakan teks yang dapat dicari. Kemampuan ini dikontrol melalui pengaturan konfigurasi di pengindeks.

• Sertakan atau kecualikan file acak. Jika Anda ingin melewati file tertentu karena alasan apa pun, Anda dapat menambahkan properti metadata dan nilai ke file di lakehouse Anda. Ketika pengindeks menemukan properti ini, pengindeks melompati file atau kontennya dalam pengindeksan berjalan.

Penyertaan dan pengecualian file tercakup dalam langkah konfigurasi pengindeks . Jika Anda tidak menetapkan kriteria, pengindeks melaporkan file yang tidak memenuhi syarat sebagai kesalahan dan melanjutkan. Jika terjadi kesalahan yang cukup, pemrosesan mungkin berhenti. Anda dapat menentukan toleransi kesalahan dalam pengaturan konfigurasi pengindeks.

Pengindeks biasanya membuat satu dokumen pencarian per file, di mana konten teks dan metadata diambil sebagai bidang yang dapat dicari dalam indeks. Jika file adalah seluruh file, Anda berpotensi mengurainya ke dalam beberapa dokumen pencarian. Misalnya, Anda dapat mengurai baris dalam file CSV untuk membuat satu dokumen pencarian per baris. Jika Anda perlu memotong satu dokumen menjadi bagian yang lebih kecil untuk mem-vektorisasi data, pertimbangkan untuk menggunakan vektorisasi terintegrasi.

Mengindeks metadata file

Metadata file juga dapat diindeks, dan itu berguna jika Anda menganggap salah satu properti metadata standar atau kustom berguna dalam filter dan kueri.

Properti metadata yang ditentukan pengguna diekstrak secara persis. Untuk menerima nilai, Anda harus menentukan bidang dalam indeks pencarian jenis Edm.String, dengan nama yang sama dengan kunci metadata blob. Misalnya, jika blob memiliki kunci Priority metadata dengan nilai High, Anda harus menentukan bidang bernama Priority dalam indeks pencarian Anda dan akan diisi dengan nilai High.

Properti metadata file standar dapat diekstrak ke dalam bidang dengan nama dan tipe yang sama, seperti yang tercantum di bawah ini. Pengindeks file OneLake secara otomatis membuat pemetaan bidang internal untuk properti metadata ini, mengonversi nama bergaris hubung asli ("metadata-storage-name") menjadi nama ekuivalen dengan garis bawah ("metadata_storage_name").

Anda masih harus menambahkan bidang garis bawah ke definisi indeks, tetapi Anda dapat menghilangkan pemetaan bidang pengindeks karena pengindeks membuat asosiasi secara otomatis.

• metadata_storage_name (Edm.String) - nama file. Misalnya, jika Anda memiliki file /mydatalake/my-folder/subfolder/resume.pdf, nilai bidang ini adalah resume.pdf.

• metadata_storage_path (Edm.String) - URI lengkap blob, termasuk akun penyimpanan. Misalnya, https://myaccount.blob.core.windows.net/my-container/my-folder/subfolder/resume.pdf

• metadata_storage_content_type (Edm.String) - jenis konten seperti yang ditentukan oleh kode yang Anda gunakan untuk mengunggah blob. Misalnya, application/octet-stream.

• metadata_storage_last_modified (Edm.DateTimeOffset) - tanda waktu terakhir yang dimodifikasi untuk blob. Pencarian Azure AI menggunakan tanda waktu ini untuk mengidentifikasi blob yang diubah, untuk menghindari pengindeksan ulang semuanya setelah pengindeksan awal.

• metadata_storage_size (Edm.Int64) - ukuran blob dalam byte.

• metadata_storage_content_md5 (Edm.String) - Hash MD5 dari konten blob, jika tersedia.

Terakhir, properti metadata apa pun khusus untuk format dokumen file yang Anda indeks juga dapat diwakili dalam skema indeks. Untuk informasi selengkapnya tentang metadata khusus konten, lihat Properti metadata konten.

Penting untuk menunjukkan bahwa Anda tidak perlu menentukan bidang untuk semua properti di atas dalam indeks pencarian Anda - cukup ambil properti yang Anda butuhkan untuk aplikasi Anda.

Memberikan izin

Pengindeks OneLake menggunakan autentikasi token dan akses berbasis peran untuk koneksi ke OneLake. Izin diberikan di OneLake. Tidak ada persyaratan izin pada penyimpanan data fisik yang mendukung pintasan. Misalnya, jika Anda mengindeks dari AWS, Anda tidak perlu memberikan izin layanan pencarian di AWS.

Penetapan peran paling rendah untuk identitas layanan pencarian Anda adalah Kontributor.

1. Konfigurasikan sistem atau identitas yang dikelola pengguna untuk layanan Pencarian Azure AI Anda.

   Cuplikan layar berikut menunjukkan identitas terkelola sistem untuk layanan pencarian bernama "onelake-demo".

   

   Cuplikan layar ini memperlihatkan identitas yang dikelola pengguna untuk layanan pencarian yang sama.

   

2. Beri izin akses layanan pencarian ke ruang kerja Fabric. Layanan pencarian membuat koneksi atas nama pengindeks.

   Jika Anda menggunakan identitas terkelola yang ditetapkan sistem, cari nama layanan Pencarian Azure AI. Untuk identitas terkelola yang ditetapkan pengguna, cari nama sumber daya identitas.

   Cuplikan layar berikut menunjukkan penetapan peran Kontributor menggunakan identitas terkelola sistem.

   

   Cuplikan layar ini memperlihatkan penetapan peran Kontributor menggunakan identitas terkelola yang ditetapkan pengguna:

   

Mengonfigurasi tautan privat bersama (diperlukan jika menggunakan tautan privat tingkat ruang kerja Fabric)

Jika ruang kerja Fabric Anda diamankan dengan tautan private, Pencarian Azure AI tidak akan dapat mengakses data lakehouse Anda melalui internet publik, dan Anda tidak akan dapat mengonfigurasi pengindeks atau dependensi yang diperlukan, seperti sumber data. Untuk mengaktifkan akses, Anda harus mengonfigurasi tautan privat shared antara Pencarian Azure AI dan ruang kerja Fabric Anda.

Menentukan sumber data

Sumber data didefinisikan sebagai sumber daya independen sehingga dapat digunakan oleh beberapa pengindeks.

1. Gunakan REST API Buat atau perbarui sumber data untuk mengatur definisinya. Ini adalah langkah-langkah definisi yang paling signifikan.

2. Atur "type" ke "onelake" (diperlukan).

3. Dapatkan GUID ruang kerja Microsoft Fabric dan GUID lakehouse:

   • Di Power BI, buka lakehouse tempat Anda ingin mengimpor data. Perhatikan URL lakehouse di browser. Ini akan terlihat mirip dengan contoh ini: "https://msit.powerbi.com/groups/00000000-0000-0000-0000-000000000000/lakehouses/11111111-1111-1111-1111-111111111111". URL berisi GUID ruang kerja dan GUID lakehouse. Jika ruang kerja Fabric diamankan dengan tautan privat, URL akan dimulai dengan "https://{FabricWorkspaceGuid}.z{xy}.blob.fabric. microsoft.com".

   • Salin GUID ruang kerja, yang tercantum di sebelah kanan "grup" di URL. Dalam contoh ini, akan menjadi 000000000-0000-0000-0000-0000000000000. Dalam file REST Anda, buat variabel lingkungan untuk {FabricWorkspaceGuid} dan atur ke GUID ruang kerja. Jika ruang kerja Anda menggunakan tautan privat, GUID ruang kerja akan muncul di lokasi yang berbeda di URL. Pastikan untuk merujuk bagian URL yang benar sesuai dengan pengaturan Anda.

   

   • Salin GUID lakehouse, yang tercantum tepat setelah "lakehouses" di URL. Dalam contoh ini, akan menjadi 111111111-1111-1111-1111-11111111111111. Dalam file REST Anda, buat variabel lingkungan untuk {LakehouseGuid}dan atur ke GUID lakehouse.

     

4. Atur "credentials" ke GUID ruang kerja Microsoft Fabric dengan mengganti {FabricWorkspaceGuid} dengan nilai yang Anda salin di langkah sebelumnya. Ini adalah OneLake yang dapat diakses dengan identitas terkelola yang akan Anda siapkan nanti di panduan ini.

   "credentials": {  
   "connectionString": "ResourceId={FabricWorkspaceGuid}"  
   }
   

Untuk penyiapan Anda dengan shared private link, siapkan identitas terkelola berikut menggunakan string koneksi, yang berbeda dari penyiapan yang menggunakan internet untuk komunikasi. Perhatikan bahwa tidak hanya URL yang berbeda, tetapi juga WorkspaceEndpoint digunakan, bukan ResourceId. Pertimbangkan hal ini saat mengonfigurasi identitas yang dikelola sistem atau penyiapan identitas yang dikelola pengguna.

 "credentials": {  
 "connectionString": "WorkspaceEndpoint=https://{FabricWorkspaceGuid}.z{xy}.blob.fabric.microsoft.com"
 }

1. Atur "container.name" ke GUID lakehouse, ganti {LakehouseGuid} dengan nilai yang Anda salin di langkah sebelumnya. Gunakan "query" untuk menentukan subfolder atau pintasan lakehouse secara opsional.

      "container": {  
        "name": "{LakehouseGuid}",  
        "query": "{optionalLakehouseFolderOrShortcut}"  
      }
   

2. Atur metode autentikasi menggunakan identitas terkelola yang ditetapkan pengguna, atau lewati ke langkah berikutnya untuk identitas yang dikelola sistem.

   {    
     "name": "{dataSourceName}",  
     "description": "description",  
     "type": "onelake",  
     "credentials": {  
       "connectionString": "ResourceId={FabricWorkspaceGuid}"  
     },  
     "container": {  
       "name": "{LakehouseGuid}",  
       "query": "{optionalLakehouseFolderOrShortcut}"  
     },  
     "identity": {  
       "@odata.type": "Microsoft.Azure.Search.DataUserAssignedIdentity",  
       "userAssignedIdentity": "{userAssignedManagedIdentity}"  
     }  
   }
   

   Nilai userAssignedIdentity dapat ditemukan dengan mengakses sumber daya {userAssignedManagedIdentity}, pada bagian Properti dan disebut Id.

   

   Contoh:

   {    
     "name": "mydatasource",  
     "description": "description",  
     "type": "onelake",  
     "credentials": {  
       "connectionString": "ResourceId=a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1"  
     },  
     "container": {  
       "name": "11111111-1111-1111-1111-111111111111",  
       "query": "folder_name"  
     },  
     "identity": {  
       "@odata.type": "Microsoft.Azure.Search.DataUserAssignedIdentity",  
       "userAssignedIdentity": "/subscriptions/333333-3333-3333-3333-33333333/resourcegroups/myresourcegroup/providers/Microsoft.ManagedIdentity/userAssignedIdentities/demo-mi"  
     }  
   }
   

3. Secara opsional, gunakan identitas terkelola yang ditetapkan sistem sebagai gantinya. "Identitas" dihapus dari definisi jika menggunakan identitas terkelola yang ditetapkan sistem.

   {    
     "name": "{dataSourceName}",  
     "description": "description",  
     "type": "onelake",  
     "credentials": {  
       "connectionString": "ResourceId={FabricWorkspaceGuid}"  
     },  
     "container": {  
       "name": "{LakehouseGuid}",  
       "query": "{optionalLakehouseFolderOrShortcut}"  
     }  
   }
   

   Contoh:

   {    
     "name": "mydatasource",  
     "description": "description",  
     "type": "onelake",  
     "credentials": {  
       "connectionString": "ResourceId=a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1"  
     },  
     "container": {  
       "name": "11111111-1111-1111-1111-111111111111",  
       "query": "folder_name"  
     }
   } 
   

Mendeteksi penghapusan melalui metadata kustom

Definisi sumber data pengindeks file OneLake dapat menyertakan kebijakan penghapusan sementara jika Anda ingin pengindeks menghapus dokumen pencarian saat dokumen sumber ditandai untuk dihapus.

Untuk mengaktifkan penghapusan file otomatis, gunakan metadata kustom untuk menunjukkan apakah dokumen pencarian harus dihapus dari indeks.

Alur kerja memerlukan tiga tindakan terpisah:

• "File tersebut dihapus sementara di OneLake"
• Pengindeks menghapus dokumen pencarian dalam indeks
• Hapus permanen berkas di OneLake

"Penghapusan sementara" memberi tahu pengindeks apa yang harus dilakukan (menghapus dokumen pencarian). Jika Anda menghapus file fisik di OneLake terlebih dahulu, tidak ada yang dapat dibaca oleh pengindeks dan dokumen pencarian yang sesuai dalam indeks menjadi terputus.

Ada langkah-langkah yang harus diikuti di OneLake dan Pencarian Azure AI, tetapi tidak ada dependensi fitur lain.

1. Dalam file lakehouse, tambahkan pasangan kunci-nilai metadata kustom ke file untuk menunjukkan bahwa file ditandai untuk dihapus. Misalnya, Anda dapat memberi nama properti "IsDeleted", disetel ke false. Ketika Anda ingin menghapus file, ubah ke true.

   

2. Di Pencarian Azure AI, edit definisi sumber data untuk menyertakan properti "dataDeletionDetectionPolicy". Misalnya, kebijakan berikut mempertimbangkan file untuk dihapus jika memiliki properti metadata "IsDeleted" dengan nilai true:

   PUT https://[service name].search.windows.net/datasources/file-datasource?api-version=2026-04-01
   {
       "name" : "onelake-datasource",
       "type" : "onelake",
        "credentials": {  
           "connectionString": "ResourceId={FabricWorkspaceGuid}"  
       },  
       "container": {  
           "name": "{LakehouseGuid}",  
           "query": "{optionalLakehouseFolderOrShortcut}"  
       },  
       "dataDeletionDetectionPolicy" : {
           "@odata.type" :"#Microsoft.Azure.Search.SoftDeleteColumnDeletionDetectionPolicy",
           "softDeleteColumnName" : "IsDeleted",
           "softDeleteMarkerValue" : "true"
       }
   }
   

Setelah pengindeks menjalankan dan menghapus dokumen dari indeks pencarian, Anda kemudian dapat menghapus file fisik di data lake.

Beberapa poin utama meliputi:

• Menjadwalkan eksekusi pengindeks membantu mengotomatiskan proses ini. Kami merekomendasikan jadwal untuk semua skenario pengindeksan bertahap.

• Jika kebijakan deteksi penghapusan tidak diatur pada pengindeks pertama yang dijalankan, Anda harus mengatur ulang pengindeks sehingga membaca konfigurasi yang diperbarui.

• Ingat bahwa deteksi penghapusan tidak didukung untuk shortcut Amazon S3 dan Google Cloud Storage karena ketergantungan pada metadata kustom.

Menambahkan bidang pencarian ke indeks

Dalam indeks pencarian, tambahkan bidang untuk menerima konten dan metadata file data lake OneLake Anda.

1. Buat atau perbarui indeks untuk menentukan bidang pencarian yang menyimpan konten file dan metadata:

   {
       "name" : "my-search-index",
       "fields": [
           { "name": "ID", "type": "Edm.String", "key": true, "searchable": false },
           { "name": "content", "type": "Edm.String", "searchable": true, "filterable": false },
           { "name": "metadata_storage_name", "type": "Edm.String", "searchable": false, "filterable": true, "sortable": true  },
           { "name": "metadata_storage_size", "type": "Edm.Int64", "searchable": false, "filterable": true, "sortable": true  },
           { "name": "metadata_storage_content_type", "type": "Edm.String", "searchable": false, "filterable": true, "sortable": true }     
       ]
   }
   

2. Buat sebuah bidang kunci untuk dokumen ("key": true). Untuk konten file, kandidat terbaik adalah properti metadata.

   • metadata_storage_path (default) jalur lengkap ke objek atau file. Bidang kunci ("ID" dalam contoh ini) diisi dengan nilai dari metadata_storage_path karena merupakan default.

   • metadata_storage_name, hanya dapat digunakan jika nama unik. Jika Anda ingin bidang ini sebagai kunci, pindahkan "key": true ke definisi bidang ini.

   • Properti metadata kustom yang Anda tambahkan ke file Anda. Opsi ini mengharuskan proses pengunggahan file Anda menambahkan properti metadata tersebut ke semua blob. Karena kunci adalah properti yang diperlukan, file apa pun yang kehilangan nilai gagal diindeks. Jika Anda menggunakan properti metadata kustom sebagai kunci, hindari membuat perubahan pada properti tersebut. Pengindeks menambahkan dokumen duplikat untuk file yang sama jika properti kunci berubah.

   Properti metadata sering menyertakan karakter, seperti / dan -, yang tidak valid untuk kunci dokumen. Karena pengindeks memiliki properti "base64EncodeKeys" (true secara default), pengindeks secara otomatis mengodekan properti metadata, tanpa memerlukan konfigurasi atau pemetaan bidang.

3. Tambahkan bidang "konten" untuk menyimpan teks yang diekstrak dari setiap file melalui properti "konten" file. Anda tidak diharuskan menggunakan nama ini, tetapi melakukannya memungkinkan Anda memanfaatkan pemetaan bidang implisit.

4. Tambahkan bidang untuk properti metadata standar. Pengindeks dapat membaca properti metadata kustom, properti metadata standar , dan properti metadata khusus konten .

Mengonfigurasi dan menjalankan pengindeks file OneLake

Setelah indeks dan sumber data dibuat, Anda siap untuk membuat pengindeks. Konfigurasi pengindeks menentukan input, parameter, dan properti yang mengontrol perilaku run time. Anda juga dapat menentukan bagian mana dari blob yang akan diindeks.

1. Buat atau perbarui pengindeks dengan memberinya nama dan mereferensikan sumber data dan indeks target:

   {
     "name" : "my-onelake-indexer",
     "dataSourceName" : "my-onelake-datasource",
     "targetIndexName" : "my-search-index",
     "parameters": {
         "batchSize": null,
         "maxFailedItems": null,
         "maxFailedItemsPerBatch": null,
         "base64EncodeKeys": null,
         "configuration": {
             "indexedFileNameExtensions" : ".pdf,.docx",
             "excludedFileNameExtensions" : ".png,.jpeg",
             "dataToExtract": "contentAndMetadata",
             "parsingMode": "default"
         }
     },
     "schedule" : { },
     "fieldMappings" : [ ]
   }
   

2. Atur "batchSize" jika default (10 dokumen) terlalu sedikit menggunakan atau membebani sumber daya yang tersedia. Ukuran batch default bersifat spesifik terhadap sumber data. Pengindeksan file menetapkan ukuran batch pada 10 dokumen sebagai pengenalan ukuran dokumen rata-rata yang lebih besar.

3. Di bawah "konfigurasi", tentukan file mana yang diindeks berdasarkan jenis file, atau biarkan tidak ditentukan untuk mengambil semua file.

   Untuk "indexedFileNameExtensions", berikan daftar ekstensi file yang dipisahkan koma (dengan titik terdepan). Lakukan hal yang sama untuk "excludedFileNameExtensions" untuk menunjukkan ekstensi mana yang harus dilewati. Jika ekstensi yang sama ada di kedua daftar, ekstensi tersebut dikecualikan dari pengindeksan.

4. Di bagian "konfigurasi", atur "dataToExtract" untuk mengontrol bagian file mana yang diindeks:

   • "contentAndMetadata" adalah default. Ini menentukan bahwa semua metadata dan konten tekstual yang diekstrak dari file diindeks.

   • "storageMetadata" menentukan bahwa hanya properti file standar dan metadata yang ditentukan pengguna yang diindeks. Kendati properti didokumentasikan untuk blob Azure, properti file adalah sama untuk OneLake, kecuali untuk metadata terkait SAS.

   • "allMetadata" menentukan bahwa properti file standar dan metadata apa pun untuk jenis konten yang ditemukan diekstrak dari konten file dan diindeks.

5. Di bagian "konfigurasi", atur "parsingMode" jika file harus dipetakan ke beberapa dokumen pencarian, atau jika terdiri dari teks biasa, dokumen JSON, atau file CSV.

6. Tentukan pemetaan bidang jika ada perbedaan dalam nama atau jenis bidang, atau jika Anda memerlukan beberapa versi bidang sumber dalam indeks pencarian.

   Dalam pengindeksan file, Anda sering dapat menghilangkan pemetaan bidang karena pengindeks memiliki dukungan bawaan untuk memetakan properti "konten" dan metadata ke bidang bernama dan diketik yang sama dalam indeks. Untuk properti metadata, pengindeks secara otomatis mengganti tanda hubung - dengan garis bawah dalam indeks pencarian.

Untuk informasi selengkapnya tentang properti lain, Buat pengindeks. Untuk daftar lengkap deskripsi parameter, lihat Membuat Pengindeks (REST) di REST API. Parameternya sama untuk Microsoft OneLake.

Secara default, pengindeks berjalan secara otomatis saat Anda membuatnya. Anda dapat mengubah perilaku ini dengan mengatur "dinonaktifkan" ke true. Jika Anda membuat pengindeks dalam status dinonaktifkan, jalankan pengindeks sesuai permintaan saat Anda siap menggunakannya, atau letakkan sesuai jadwal.

Periksa status pengindeks

Pelajari beberapa pendekatan untuk memantau status pengindeks dan riwayat eksekusi di sini.

Menangani kesalahan

Kesalahan yang umumnya terjadi selama pengindeksan mencakup jenis konten yang tidak didukung, konten yang hilang, atau file yang terlalu besar. Secara default, pengindeks file OneLake berhenti segera setelah menemukan file dengan tipe konten yang tidak didukung. Namun, Anda mungkin ingin pengindeksan dilanjutkan meskipun terjadi kesalahan, lalu debug dokumen individual nanti.

Kesalahan sementara umum untuk solusi yang melibatkan beberapa platform dan produk. Namun, jika Anda menjaga pengindeks tetap sesuai jadwal (misalnya setiap 5 menit), pengindeks harus dapat memulihkan dari kesalahan tersebut dalam eksekusi berikut.

Ada lima properti pengindeks yang mengontrol respons pengindeks saat kesalahan terjadi.

{
  "parameters" : { 
    "maxFailedItems" : 10, 
    "maxFailedItemsPerBatch" : 10,
    "configuration" : { 
        "failOnUnsupportedContentType" : false, 
        "failOnUnprocessableDocument" : false,
        "indexStorageMetadataOnlyForOversizedDocuments": false
    }
  }
}

Langkah berikutnya

Tinjau cara kerja wizard Impor data dan cobalah untuk pengindeks ini. Anda dapat menggunakan vektorisasi terintegrasi untuk memotong dan membuat penyematan untuk pencarian vektor atau hibrid menggunakan skema default.