Keterampilan Pemahaman Konten Azure

Keterampilan Azure Pemahaman Konten menggunakan penganalisis dokumen dari Azure Pemahaman Konten di Alat Pengecoran untuk menganalisis dokumen tidak terstruktur dan jenis konten lainnya, menghasilkan output yang terorganisir dan dapat dicari yang dapat diintegrasikan ke dalam beban kerja otomatisasi. Keterampilan ini mengekstrak teks dan gambar, termasuk metadata lokasi yang mempertahankan posisi setiap gambar dalam dokumen. Kedekatan gambar dengan konten terkait sangat berguna untuk pencarian multimodal, pengambilan agen, dan pengambilan yang ditambah ( RAG).

Keterampilan Pemahaman Konten Azure terikat pada sumber daya Microsoft Foundry yang dapat ditagih. Tidak seperti keterampilan sumber daya AI Azure lainnya, seperti keterampilan Tata Letak Dokumen, keterampilan Pemahaman Konten Azure tidak menyediakan 20 dokumen gratis per pengindeks per hari. Eksekusi skill ini dikenakan biaya dengan harga Azure Content Understanding.

Anda dapat menggunakan keterampilan Pemahaman Konten Azure untuk ekstraksi dan pemotongan konten. Tidak perlu menggunakan skill Text Split di skillset kamu. Keterampilan ini mengimplementasikan antarmuka yang sama dengan keterampilan Tata Letak Dokumen, yang menggunakan Azure Kecerdasan Dokumen dalam model tata letak Foundry Tools saat outputFormat diatur ke text. Namun, keterampilan Pemahaman Konten Azure menawarkan beberapa keunggulan dibandingkan keterampilan Tata Letak Dokumen:

• Tabel dan gambar dikeluarkan dalam format Markdown, membuatnya lebih mudah dipahami oleh model bahasa besar (LLM). Sebaliknya, keterampilan Tata Letak Dokumen menghasilkan tabel dan gambar sebagai teks biasa, yang dapat mengakibatkan hilangnya informasi.

• Untuk tabel yang mencakup beberapa halaman, keterampilan Azure Content Understanding dapat mengenali dan mengekstrak tabel lintas halaman sebagai satu unit.

• Keterampilan Azure Content Understanding memungkinkan potongan untuk menjangkau beberapa halaman melalui unit semantik.

• Keterampilan Pemahaman Konten Azure lebih hemat biaya daripada keterampilan Tata Letak Dokumen karena API Pemahaman Konten lebih murah.

• Azure Content Understanding dapat menghasilkan deskripsi berbasis AI untuk gambar, bagan, diagram, dan gambar yang disematkan. Deskripsi gambar yang disematkan dimasukkan langsung ke dalam konten markdown yang dihasilkan untuk pengambilan. Deskripsi ini dapat dicari dan dapat meningkatkan kualitas grounding RAG dan pengambilan multimodal.

Keterampilan Azure Content Understanding umumnya tersedia di REST API 2026-04-01. Dimulai dengan 2026-05-01-preview, keterampilan secara opsional menghasilkan deskripsi gambar berbasis AI untuk gambar, bagan, dan diagram yang disematkan dokumen (pratinjau). Untuk mengaktifkan deskripsi, Anda harus menyebarkan model penyelesaian obrolan OpenAI Azure di sumber daya Foundry yang melekat pada set keterampilan. Versi API ini juga menambahkan potongan semantik (pratinjau), opsi sadar tata letak yang mematuhi batas paragraf dan mengukur panjang gugus dalam token. Kedua kemampuan memerlukan keikutsertaan. Ketika parameter baru dihilangkan, keterampilan berulah sama seperti dalam versi API yang stabil 2026-04-01 .

Keterbatasan

Keterampilan Pemahaman Konten Azure memiliki batasan berikut:

• Keterampilan ini tidak cocok untuk dokumen besar yang membutuhkan pemrosesan lebih dari lima menit di penganalisis dokumen Pemahaman Konten. Waktu skill habis, tetapi biaya masih berlaku untuk resource Foundry yang dilampirkan ke skillset. Pastikan dokumen dioptimalkan agar tetap dalam batas pemrosesan untuk menghindari biaya yang tidak perlu.

• Keterampilan ini memanggil penganalisis dokumen Pemahaman Konten Azure, sehingga semua perilaku service yang didokumentasikan untuk berbagai jenis dokumen berlaku untuk outputnya. Misalnya, file Word (DOCX) dan PDF mungkin menghasilkan hasil yang berbeda karena perbedaan dalam cara penanganan gambar. Jika perilaku gambar yang konsisten di seluruh DOCX dan PDF diperlukan, pertimbangkan untuk mengonversi dokumen ke PDF atau meninjau dokumentasi pencarian multimoda untuk pendekatan alternatif.

Wilayah yang didukung

Keterampilan Pemahaman Konten Azure memanggil Content Understanding 2025-11-01 REST API. Sumber daya Foundry Anda harus berada di wilayah yang didukung, yang dijelaskan dalam Azure Dukungan wilayah dan bahasa Pemahaman Konten.

Layanan penelusuran Anda dapat berada di wilayah Pencarian Azure AI yang didukung . Ketika sumber daya Foundry dan layanan Pencarian Azure AI Anda tidak berada di wilayah yang sama, latensi jaringan lintas wilayah memengaruhi performa pengindeks Anda.

Format file yang didukung

Keterampilan Pemahaman Konten Azure mengenali format file berikut:

• .PDF
• . JPEG
• .JPG
• .PNG
• .BMP
• . HEIF
• . TIFF
• .DOCX
• . XLSX
• .PPTX
• .HTML
• .TXT
• . MD
• . RTF
• . EML

Bahasa yang didukung

Untuk teks cetak, lihat Azure Dukungan wilayah dan bahasa Pemahaman Konten.

@odata.type

Microsoft.Skills.Util.ContentUnderstandingSkill

Batasan data

• Bahkan ketika ukuran file untuk menganalisis dokumen berada dalam batas 200 MB, seperti yang dijelaskan dalam kuota dan batas layanan Pemahaman Konten Azure , pengindeksan masih tunduk pada batas pengindeks tingkat layanan penelusuran Anda.

• Dimensi gambar harus antara 50 piksel x 50 piksel atau 10.000 piksel x 10.000 piksel.

• Jika PDF Anda terkunci kata sandi, hapus kunci sebelum menjalankan pengindeks.

Parameter keterampilan

Parameter peka huruf besar/kecil.

Masukan keterampilan

Input file_data harus berupa objek yang didefinisikan sebagai:

{
  "$type": "file",
  "data": "BASE64 encoded string of the file"
}

Atau, ini dapat didefinisikan sebagai:

{
  "$type": "file",
  "url": "URL to download the file",
  "sasToken": "OPTIONAL: SAS token for authentication if the provided URL is for a file in blob storage"
}

Objek referensi file dapat dihasilkan dengan salah satu cara berikut:

• Mengatur allowSkillsetToReadFileData parameter pada definisi pengindeks Anda ke true. Pengaturan ini membuat /document/file_data jalur yang merupakan objek yang mewakili data file asli yang diunduh dari sumber data blob Anda. Parameter ini hanya berlaku untuk file di Azure Blob Storage.

  allowSkillsetToReadFileData membuat data file yang diunduh tersedia untuk keterampilan. Ini tidak meningkatkan batas pengindeks blob atau batas layanan Pemahaman Konten yang dijelaskan dalam Batas data.

• Memiliki keterampilan kustom yang mengembalikan definisi objek JSON yang menyediakan $type, dataatau urlsastoken dan . Parameter $type harus diatur ke file, dan data harus berupa array byte yang dikodekan 64 dasar dari konten file. Parameter harus url berupa URL yang valid dengan akses untuk mengunduh file di lokasi tersebut.

Keluaran Keterampilan

Setiap elemen di text_sections memiliki bidang berikut:

Setiap elemen di normalized_images memiliki bidang berikut:

Examples

Contoh pertama menggunakan potongan ukuran tetap dan menunjukkan cara menghasilkan konten teks dalam gugus berukuran tetap dan mengekstrak gambar bersama dengan metadata lokasi dari dokumen. Contoh kedua, yang tersedia dimulai dengan 2026-05-01-preview REST API, menggunakan potongan semantik dengan deskripsi gambar yang dihasilkan AI.

Contoh 1: Potongan ukuran tetap dengan ekstraksi gambar dan metadata

{
  "skills": [
    {
      "description": "Analyze a document",
      "@odata.type": "#Microsoft.Skills.Util.ContentUnderstandingSkill",
      "context": "/document",
      "extractionOptions": ["images", "locationMetadata"],
      "chunkingProperties": {     
          "unit": "characters",
          "maximumLength": 1325, 
          "overlapLength": 0
      },
      "inputs": [
        {
          "name": "file_data",
          "source": "/document/file_data"
        }
      ],
      "outputs": [
        { 
          "name": "text_sections", 
          "targetName": "text_sections" 
        }, 
        { 
          "name": "normalized_images", 
          "targetName": "normalized_images" 
        } 
      ]
    }
  ]
}

Contoh keluaran

{
  "text_sections": [
      {
        "id": "1_d4545398-8df1-409f-acbb-f605d851ae85",
        "content": "What is Azure Content Understanding (preview)?09/16/2025Important· Azure Al Content Understanding is available in preview. Public preview releases provide early access to features that are in active development.· Features, approaches, and processes can change or have limited capabilities, before General Availability (GA).. For more information, see Supplemental Terms of Use for Microsoft Azure PreviewsAzure Content Understanding is a Foundry Tool that uses generative AI to process/ingest content of many types (documents, images, videos, and audio) into a user-defined output format.Content Understanding offers a streamlined process to reason over large amounts of unstructured data, accelerating time-to-value by generating an output that can be integrated into automation and analytical workflows.<figure>\n\nInputs\n\nAnalyzers\n\nOutput\n\n0\nSearch\n\nContent Extraction\n\nField Extraction\n\nDocuments\n\nNew\n\nAgents\n\nPreprocessing\n\nEnrichments\n\nReasoning\n\nImage\n\nNormalization\n(resolution,\nformats)\n\nSpeaker\nrecognition\n\nGen Al\nContext\nwindows\n\nPostprocessing\nConfidence\nscores\nGrounding\nNormalization\n\nMulti-file input\nReference data\n\nDatabases\n\nVideo\n\nOrientation /\nde-skew\n\nLayout and\nstructure\n\nPrompt tuning\n\nStructured\noutput\n\nAudio\n\nFace grouping\n\nMarkdown or JSON schema\n\nCopilots\n\nApps\n\n\\+\n\nFaurIC\n\n</figure>",
        "locationMetadata": {
          "pageNumberFrom": 1,
          "pageNumberTo": 1,
          "ordinalPosition": 0,
          "source": "D(1,0.6348,0.3598,7.2258,0.3805,7.223,1.2662,0.632,1.2455);D(1,0.6334,1.3758,1.3896,1.3738,1.39,1.5401,0.6338,1.542);D(1,0.8104,2.0716,1.8137,2.0692,1.8142,2.2669,0.8109,2.2693);D(1,1.0228,2.5023,7.6222,2.5029,7.6221,3.0075,1.0228,3.0069);D(1,1.0216,3.1121,7.3414,3.1057,7.342,3.6101,1.0221,3.6165);D(1,1.0219,3.7145,7.436,3.7048,7.4362,3.9006,1.0222,3.9103);D(1,0.6303,4.3295,7.7875,4.3236,7.7879,4.812,0.6307,4.8179);D(1,0.6304,5.0295,7.8065,5.0303,7.8064,5.7858,0.6303,5.7849);D(1,0.635,5.9572,7.8544,5.9573,7.8562,8.6971,0.6363,8.6968);D(1,0.6381,9.1451,5.2731,9.1476,5.2729,9.4829,0.6379,9.4803)"
        }
      },
      ...
      {
        "id": "2_e0e57fd4-e835-4879-8532-73a415e47b0b",
        "content": "<table>\n<tr>\n<th>Application</th>\n<th>Description</th>\n</tr>\n<tr>\n<td>Post-call analytics</td>\n<td>Businesses and call centers can generate insights from call recordings to track key KPIs, improve product experience, generate business insights, create differentiated customer experiences, and answer queries faster and more accurately.</td>\n</tr>\n<tr>\n<th>Application</th>\n<th>Description</th>\n</tr>\n<tr>\n<td>Media asset management</td>\n<td>Software and media vendors can use Content Understanding to extract richer, targeted information from videos for media asset management solutions.</td>\n</tr>\n<tr>\n<td>Tax automation</td>\n<td>Tax preparation companies can use Content Understanding to generate a unified view of information from various documents and create comprehensive tax returns.</td>\n</tr>\n<tr>\n<td>Chart understanding</td>\n<td>Businesses can enhance chart understanding by automating the analysis and interpretation of various types of charts and diagrams using Content Understanding.</td>\n</tr>\n<tr>\n<td>Mortgage application processing</td>\n<td>Analyze supplementary supporting documentation and mortgage applications to determine whether a prospective home buyer provided all the necessary documentation to secure a mortgage.</td>\n</tr>\n<tr>\n<td>Invoice contract verification</td>\n<td>Review invoices and contr",
        "locationMetadata": {
          "pageNumberFrom": 2,
          "pageNumberTo": 3,
          "ordinalPosition": 3,
          "source": "D(2,0.6438,9.2645,7.8576,9.2649,7.8565,10.5199,0.6434,10.5194);D(3,0.6494,0.3919,7.8649,0.3929,7.8639,4.3254,0.6485,4.3232)"
        }
        ...
      }
    ],
    "normalized_images": [
        { 
            "id": "1_335140f1-9d31-4507-8916-2cde758639cb", 
            "data": "aW1hZ2UgMSBkYXRh", 
            "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NVLnBkZg2/normalized_images_0.jpg",  
            "locationMetadata": {
              "pageNumberFrom": 1,
              "pageNumberTo": 1,
              "ordinalPosition": 0,
              "source": "D(1,0.635,5.9572,7.8544,5.9573,7.8562,8.6971,0.6363,8.6968)"
            }
        },
        { 
            "id": "3_699d33ac-1a1b-4015-9cbd-eb8bfff2e6b4", 
            "data": "aW1hZ2UgMiBkYXRh", 
            "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NVLnBkZg2/normalized_images_1.jpg",  
            "locationMetadata": {
              "pageNumberFrom": 3,
              "pageNumberTo": 3,
              "ordinalPosition": 1,
              "source": "D(3,0.6353,5.2142,7.8428,5.218,7.8443,8.4631,0.6363,8.4594)"
            } 
        }
    ] 
}

locationMetadata didasarkan pada properti source yang disediakan oleh Pemahaman Konten Azure. Untuk informasi tentang bagaimana posisi visual elemen dalam file dikodekan, lihat Analisis dokumen: Mengekstrak konten terstruktur.

imagePath mewakili jalur relatif gambar yang disimpan. Jika proyeksi file penyimpanan pengetahuan dikonfigurasi dalam set keterampilan, jalur ini cocok dengan jalur relatif gambar yang disimpan di penyimpanan pengetahuan.

Contoh 2: Potongan semantik dengan deskripsi gambar (pratinjau)

Contoh ini, tersedia dimulai dengan 2026-05-01-preview REST API, menggunakan penggugusan semantik dan menghasilkan deskripsi yang dihasilkan AI dari gambar, bagan, dan diagram yang disematkan. Sumber daya Foundry yang melekat pada set keterampilan harus memiliki model penyelesaian obrolan yang diidentifikasi oleh modelName dan yang disebarkan modelDeployment.

{
  "skills": [
    {
      "description": "Extract and chunk document content with image descriptions",
      "@odata.type": "#Microsoft.Skills.Util.ContentUnderstandingSkill",
      "context": "/document",
      "modelName": "gpt-4.1",
      "modelDeployment": "myGpt41Deployment",
      "extractionOptions": ["images", "locationMetadata"],
      "chunkingProperties": {
        "method": "semantic",
        "unit": "tokens",
        "maximumLength": 500
      },
      "inputs": [
        {
          "name": "file_data",
          "source": "/document/file_data"
        }
      ],
      "outputs": [
        {
          "name": "text_sections",
          "targetName": "text_sections"
        },
        {
          "name": "normalized_images",
          "targetName": "normalized_images"
        }
      ]
    }
  ]
}

Dengan potongan semantik, setiap gugus di berisi konten Markdown yang menyertakan deskripsi yang dihasilkan AI dari setiap gambar dan tabel yang dicakupnya text_sections . Saat gugus tumpang tindih dengan satu atau beberapa rentang gambar, objek gugus juga menyertakan imagePath bidang yang mencantumkan jalur gambar yang sesuai:

{
  "id": "1_d4545398-8df1-409f-acbb-f605d851ae85",
  "content": "# Architecture overview\n\nThe following diagram summarizes the ingestion pipeline...\n\n<figure>The diagram shows three stages: Inputs, Analyzers, and Output. Inputs include documents, images, video, and audio. Analyzers perform preprocessing, enrichments, and reasoning. Output is structured Markdown or JSON consumed by search, agents, copilots, and apps.</figure>",
  "locationMetadata": {
    "pageNumberFrom": 1,
    "pageNumberTo": 1,
    "ordinalPosition": 0,
    "source": "D(1,0.6348,0.3598,7.2258,0.3805,7.223,1.2662,0.632,1.2455)"
  },
  "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NVLnBkZg2/normalized_images_0.jpg"
}

Konten terkait

• Apa itu Pemahaman Konten Azure di Alat Pengecoran?
• Keterampilan bawaan
• Membuat keahlian
• Pengindeks - Buat (REST API)