Keterampilan kognitif Ekstraksi Dokumen

Note

Pencarian Azure AI tersedia melalui portal Azure, REST API, dan Azure SDK. Ini juga mendukung Foundry IQ, lapisan pengetahuan terkelola yang mengubah konten perusahaan menjadi pangkalan pengetahuan yang dapat digunakan kembali dan sadar izin untuk agen di portal Microsoft Foundry.

Keterampilan Ekstraksi Dokumen mengekstrak konten dari file dalam alur pengayaan. Secara default, ekstraksi atau pengambilan konten dibangun ke dalam alur pengayaan. Namun, dengan menggunakan keterampilan Ekstraksi Dokumen, Anda dapat mengontrol bagaimana parameter diatur, dan bagaimana konten yang diekstrak dinamai di pohon pengayaan.

Untuk pencarian vektor dan multimodal, gabungkan Ekstraksi Dokumen dengan keterampilan Pemisahan Teks untuk menerapkan pendekatan penggugusan data yang dapat dikonfigurasi. Tutorial Multimodal menunjukkan skenario ini.

Note

Keterampilan ini tidak terikat ke Foundry Tools dan tidak memiliki persyaratan kunci Foundry Tools.

Keterampilan ini mengekstrak teks dan gambar. Ekstraksi teks ini gratis. Ekstraksi gambar dapat ditagih oleh Pencarian Azure AI. Pada layanan pencarian gratis, biaya 20 transaksi per pengindeks per hari diserap sehingga Anda dapat menyelesaikan mulai cepat, tutorial, dan proyek kecil tanpa biaya. Untuk tingkat dasar dan yang lebih tinggi, ekstraksi gambar dapat ditagih.

@odata.type

Microsoft.Skills.Util.DocumentExtractionSkill

Format dokumen yang didukung

DocumentExtractionSkill dapat mengekstrak teks dari format dokumen berikut:

  • CSV (lihat Mengindeks blob CSV)
  • EML
  • EPUB
  • GZ
  • HTML
  • JSON (lihat Mengindeks blob JSON)
  • KML (XML untuk representasi geografis)
  • Markdown
  • Format Microsoft Office: DOCX/DOC/DOCM, XLSX/XLS/XLSM, PPTX/PPT/PPTM, MSG (email Outlook), XML (XML WORD 2003 dan 2006)
  • Format Dokumen Terbuka: ODT, ODS, ODP
  • PDF
  • File teks biasa (lihat juga Mengindeks teks biasa)
  • RTF
  • XML
  • ZIP

Parameter keterampilan

Parameter peka huruf besar/kecil.

Inputs Nilai yang diizinkan Deskripsi
parsingMode default
text
json
Atur ke default untuk ekstraksi dokumen dari file yang bukan teks murni atau JSON. Untuk file sumber yang berisi markup, seperti file PDF, HTML, RTF, dan Microsoft Office, gunakan default untuk mengekstrak teks tanpa bahasa markup atau tag. Jika parsingMode tidak didefinisikan secara eksplisit, nilainya adalah default.

Atur ke text jika file sumber adalah TXT. Mode penguraian ini meningkatkan performa pada file teks biasa. Jika file menyertakan markup, mode ini mempertahankan tag dalam output akhir.

Atur ke json untuk mengekstrak konten terstruktur dari file JSON.
dataToExtract contentAndMetadata
allMetadata
Atur ke contentAndMetadata untuk mengekstrak semua metadata dan konten tekstual dari setiap file. Jika dataToExtract tidak didefinisikan secara eksplisit, nilainya adalah contentAndMetadata.

Atur ke untuk allMetadata mengekstrak hanya properti metadata untuk jenis konten, seperti metadata yang unik untuk file PNG.
configuration Lihat bawah. Kamus parameter opsional yang menyesuaikan bagaimana ekstraksi dokumen dilakukan. Lihat tabel di bawah ini untuk deskripsi properti konfigurasi yang didukung.
Parameter konfigurasi Nilai yang diizinkan Deskripsi
imageAction none
generateNormalizedImages
generateNormalizedImagePerPage
Atur ke none untuk mengabaikan gambar atau file gambar yang disematkan dalam himpunan data, atau jika data sumber tidak menyertakan file gambar. Ini adalah nilai default.

Untuk OCR dan analisis gambar, atur ke agar generateNormalizedImages keterampilan membuat array gambar yang dinormalisasi sebagai bagian dari pemecahan dokumen. Tindakan ini memerlukan parsingMode atur ke default dan dataToExtract diatur ke contentAndMetadata. Gambar yang dinormalisasi memiliki output seragam yang berukuran dan diputar untuk mempromosikan penyajian yang konsisten dalam hasil pencarian visual. Keterampilan ini menghasilkan informasi ini untuk setiap gambar.

Jika Anda mengatur imageAction ke generateNormalizedImagePerPage, setiap halaman PDF dirender sebagai gambar dan dinormalisasi alih-alih mengekstrak gambar yang disematkan. Jenis file non-PDF diperlakukan sama seperti jika generateNormalizedImages telah diatur.
normalizedImageMaxWidth Bilangan bulat apa pun antara 50-10000 Lebar maksimum (dalam piksel) untuk gambar yang dinormalisasi yang dihasilkan. Defaultnya adalah 2000.
normalizedImageMaxHeight Bilangan bulat apa pun antara 50-10000 Tinggi maksimum (dalam piksel) untuk gambar yang dinormalisasi yang dihasilkan. Defaultnya adalah 2000.

Note

Default 2000 piksel untuk lebar dan tinggi maksimum gambar yang dinormalisasi didasarkan pada ukuran maksimum yang didukung oleh keterampilan OCR dan keterampilan analisis gambar. Keterampilan OCR mendukung lebar dan tinggi maksimum 4200 untuk bahasa non-Inggris, dan 10000 untuk bahasa Inggris. Jika Anda meningkatkan batas maksimum, pemrosesan bisa gagal pada gambar yang lebih besar tergantung pada definisi set keterampilan Anda dan bahasa dokumen.

Masukan keterampilan

Masukkan nama Deskripsi
file_data File yang kontennya harus diekstrak.

Input "file_data" harus berupa objek yang didefinisikan sebagai:

{
  "$type": "file",
  "data": "BASE64 encoded string of the file"
}

Atau, dapat didefinisikan sebagai:

{
  "$type": "file",
  "url": "URL to download file",
  "sasToken": "OPTIONAL: SAS token for authentication if the URL provided is for a file in blob storage"
}

Objek referensi file dapat dihasilkan salah satu dari tiga cara:

  • allowSkillsetToReadFileData Mengatur parameter pada definisi pengindeks Anda ke "true". Ini membuat jalur /document/file_data yang merupakan objek yang mewakili data file asli yang diunduh dari sumber data blob Anda. Parameter ini hanya berlaku untuk file di penyimpanan Blob.

    allowSkillsetToReadFileData membuat data file yang diunduh tersedia untuk keterampilan. Ini tidak meningkatkan ukuran file pengindeks blob atau batas konten yang diekstrak.

  • imageAction Mengatur parameter pada definisi pengindeks Anda ke nilai selain none. Ini membuat array gambar yang mengikuti konvensi yang diperlukan untuk input ke keterampilan ini jika diteruskan satu per satu (yaitu, /document/normalized_images/*).

  • Memiliki keterampilan kustom mengembalikan objek json yang didefinisikan PERSIS seperti di atas. Parameter $type harus diatur ke persis file dan data parameter harus berupa data array byte dasar 64 yang dikodekan dari konten file, atau url parameter harus berupa URL yang diformat dengan benar dengan akses untuk mengunduh file di lokasi tersebut.

Keluaran Keterampilan

Nama output Deskripsi
content Konten tekstual dokumen.
normalized_images Ketika imageAction diatur ke nilai selain none, bidang normalized_images baru berisi array gambar. Untuk informasi selengkapnya tentang format output, lihat Mengekstrak teks dan informasi dari gambar.

Contoh definisi

 {
    "@odata.type": "#Microsoft.Skills.Util.DocumentExtractionSkill",
    "parsingMode": "default",
    "dataToExtract": "contentAndMetadata",
    "configuration": {
        "imageAction": "generateNormalizedImages",
        "normalizedImageMaxWidth": 2000,
        "normalizedImageMaxHeight": 2000
    },
    "context": "/document",
    "inputs": [
      {
        "name": "file_data",
        "source": "/document/file_data"
      }
    ],
    "outputs": [
      {
        "name": "content",
        "targetName": "extracted_content"
      },
      {
        "name": "normalized_images",
        "targetName": "extracted_normalized_images"
      }
    ]
  }

Input contoh

{
  "values": [
    {
      "recordId": "1",
      "data":
      {
        "file_data": {
          "$type": "file",
          "data": "aGVsbG8="
        }
      }
    }
  ]
}

Contoh keluaran

{
  "values": [
    {
      "recordId": "1",
      "data": {
        "content": "hello",
        "normalized_images": []
      }
    }
  ]
}

Baca juga