Azure Content Understanding-vaardigheid

De vaardigheid Azure Content Understanding maakt gebruik van document analyzers uit Azure Content Understanding in Foundry Tools om ongestructureerde documenten en andere inhoudstypen te analyseren, waarmee georganiseerde, doorzoekbare outputs worden gegenereerd die geïntegreerd kunnen worden in automatiseringsworkloads. Deze vaardigheid extraheert zowel tekst als afbeeldingen, inclusief locatiemetadata die de positie van elke afbeelding binnen het document behouden. Beeldnabijheid tot gerelateerde inhoud is vooral nuttig voor multimodale zoekopdrachten, agentische opvraging en retrieval-augmented generatie (RAG).

De Azure Content Understanding-vaardigheid is gekoppeld aan een factureerbare Microsoft Foundry-bron. In tegenstelling tot andere Azure AI-resourcevaardigheden, zoals de Document Layout, biedt de Azure Content Understanding-vaardigheid niet 20 gratis documenten per indexer per dag. De uitvoering van deze vaardigheid wordt gerekend tegen de prijs van Azure Content Understanding.

Je kunt de Azure Content Understanding-vaardigheid gebruiken voor zowel contentextractie als chunking. Je hoeft de Text Split-vaardigheid niet in je skillset te gebruiken. Deze vaardigheid implementeert dezelfde interface als de Document Layout-vaardigheid, die gebruikmaakt van het Azure Document Intelligence in het Foundry Tools layoutmodel wanneer outputFormat is ingesteld op text. De Azure Content Understanding-vaardigheid biedt echter verschillende voordelen ten opzichte van de Document Layout-vaardigheid:

• Tabellen en figuren worden in Markdown-formaat uitgevoerd, waardoor ze makkelijker te begrijpen zijn voor grote taalmodellen (LLM's). Daarentegen geeft de vaardigheid Document Layout tabellen en figuren als platte tekst uit, wat kan leiden tot informatieverlies.

• Voor tabellen die meerdere pagina's omvatten, kan de vaardigheid Azure Inhoudsbegrip tabellen op meerdere pagina's herkennen en extraheren als één eenheid.

• Met de vaardigheid Azure Inhoudskennis kunnen segmenten meerdere pagina's omvatten via semantische eenheden.

• De Azure Content Understanding-vaardigheid is kosteneffectiever dan de Document Layout-vaardigheid omdat de Content Understanding API goedkoper is.

• Azure Inhoudsbegrip kan op AI gebaseerde beschrijvingen genereren voor afbeeldingen, grafieken, diagrammen en ingesloten afbeeldingen. Ingesloten afbeeldingsbeschrijvingen worden rechtstreeks opgenomen in Markdown-inhoud die is gegenereerd voor het ophalen. Deze beschrijvingen zijn doorzoekbaar en kunnen RAG-gronding en multimodale ophaalkwaliteit verbeteren.

De vaardigheid Azure Content Understanding is algemeen beschikbaar in de 2026-04-01 REST API. Te beginnen met de 2026-05-01-previewvaardigheid genereert de vaardigheid optioneel op AI gebaseerde afbeeldingsbeschrijvingen voor in documenten ingesloten afbeeldingen, grafieken en diagrammen (preview). Als u beschrijvingen wilt inschakelen, moet u een Azure OpenAI-voltooiingsmodel implementeren in de Foundry-resource die is gekoppeld aan de vaardighedenset. Deze API-versie voegt ook semantische segmentering (preview) toe, een indelingsbewuste optie die alineagrenzen respecteert en de lengte van segmenten in tokens meet. Voor beide mogelijkheden is opt-in vereist. Wanneer de nieuwe parameters worden weggelaten, gedraagt de vaardigheid zich hetzelfde als in de stabiele 2026-04-01 API-versie.

Limitations

De Azure Content Understanding-vaardigheid heeft de volgende beperkingen:

• Deze vaardigheid is niet geschikt voor grote documenten die meer dan vijf minuten verwerking vereisen in de Content Understanding documentanalysator. De vaardigheid loopt uit, maar charges gelden nog steeds voor de Foundry-resource die aan de skillset is gekoppeld. Zorg ervoor dat documenten geoptimaliseerd zijn om binnen verwerkingslimieten te blijven om onnodige kosten te voorkomen.

• Deze vaardigheid roept de Azure Content Understanding document analyzer aan, zodat alle gedocumenteerde servicegedragingen voor verschillende documenttypes op de output van toepassing zijn. Bijvoorbeeld, Word (DOCX) en PDF-bestanden kunnen verschillende resultaten opleveren vanwege verschillen in hoe afbeeldingen worden behandeld. Als consistent beeldgedrag tussen DOCX en PDF vereist is, overweeg dan documenten om te zetten naar PDF of de multimodale zoekdocumentatie te bekijken voor alternatieve benaderingen.

Ondersteunde regio’s

De Azure Content Understanding-vaardigheid roept de Content Understanding 2025-11-01 REST API aan. Je Foundry-bron moet zich in een ondersteunde regio bevinden, wat wordt beschreven in Azure Content Understanding region and language support.

Je zoekdienst kan in elk ondersteund Azure AI Zoeken regio zijn. Wanneer je Foundry-resource en Azure AI Zoeken-service niet in dezelfde regio liggen, beïnvloedt cross-region netwerklatentie de prestaties van je indexer.

Ondersteunde bestandsformaten

De Azure Content Understanding-vaardigheid herkent de volgende bestandsformaten:

• .PDF
• . JPEG
• .JPG
• .PNG
• .BMP
• . HEIF
• . TIFF
• .DOCX
• . XLSX
• .PPTX
• .HTML
• .TXT
• . MD
• . RTF
• . EML

Ondersteunde talen

Voor gedrukte tekst, zie Azure Content Understanding region and language support.

@odata.type

Microsoft.Skills.Util.ContentUnderstandingSkill

Gegevenslimieten

• Zelfs wanneer de bestandsgrootte voor het analyseren van documenten binnen de limiet van 200 MB ligt, zoals beschreven in de quota en limieten van de Azure Content Understanding service, blijft indexering onderworpen aan de indexerlimieten van je zoekserviceniveau.

• De afmetingen van de afbeelding moeten tussen 50 pixels x 50 pixels of 10.000 pixels x 10.000 pixels zijn.

• Als je PDF's met een wachtwoord zijn vergrendeld, verwijder dan de vergrendeling voordat je de indexer uitvoert.

Vaardigheidsparameters

Parameters zijn hoofdlettergevoelig.

Invoer van vaardigheden

De file_data invoer moet een object zijn dat wordt gedefinieerd als:

{
  "$type": "file",
  "data": "BASE64 encoded string of the file"
}

Alternatief kan het worden gedefinieerd als:

{
  "$type": "file",
  "url": "URL to download the file",
  "sasToken": "OPTIONAL: SAS token for authentication if the provided URL is for a file in blob storage"
}

Het bestandsreferentieobject kan op een van de volgende manieren worden gegenereerd:

• Door de allowSkillsetToReadFileData parameter in je indexerdefinitie in te stellen op true. Deze instelling maakt een /document/file_data pad aan dat een object is dat de originele bestandsgegevens vertegenwoordigt die van je blob-databron is gedownload. Deze parameter geldt alleen voor bestanden in Azure Blob Storage.

  allowSkillsetToReadFileData maakt de gedownloade bestandsgegevens beschikbaar voor de vaardigheid. Hiermee worden de limieten van de blob-indexeerfunctie of de servicelimieten voor Content Understanding niet verhoogd die worden beschreven in gegevenslimieten.

• Een aangepaste vaardigheid die een JSON-objectdefinitie teruggeeft die , $type, of data en urlsastokengeeft. De $type parameter moet worden ingesteld op file, en data moet de basis 64-gecodeerde bytearray van de bestandsinhoud zijn. De url parameter moet een geldige URL zijn met toegang om het bestand op die locatie te downloaden.

Uitvoer van vaardigheden

Elk element in text_sections heeft de volgende velden:

Elk element in normalized_images heeft de volgende velden:

Examples

In het eerste voorbeeld wordt segmentering met vaste grootte gebruikt en wordt gedemonstreerd hoe u tekstinhoud in segmenten met vaste grootte uitvoert en afbeeldingen samen met locatiemetagegevens uit het document extraheert. Het tweede voorbeeld, dat beschikbaar is vanaf de 2026-05-01-preview REST API, maakt gebruik van semantische segmentering met door AI gegenereerde afbeeldingsbeschrijvingen.

Voorbeeld 1: Segmentering met vaste grootte met afbeeldings- en metagegevensextractie

{
  "skills": [
    {
      "description": "Analyze a document",
      "@odata.type": "#Microsoft.Skills.Util.ContentUnderstandingSkill",
      "context": "/document",
      "extractionOptions": ["images", "locationMetadata"],
      "chunkingProperties": {     
          "unit": "characters",
          "maximumLength": 1325, 
          "overlapLength": 0
      },
      "inputs": [
        {
          "name": "file_data",
          "source": "/document/file_data"
        }
      ],
      "outputs": [
        { 
          "name": "text_sections", 
          "targetName": "text_sections" 
        }, 
        { 
          "name": "normalized_images", 
          "targetName": "normalized_images" 
        } 
      ]
    }
  ]
}

Voorbeelduitvoer

{
  "text_sections": [
      {
        "id": "1_d4545398-8df1-409f-acbb-f605d851ae85",
        "content": "What is Azure Content Understanding (preview)?09/16/2025Important· Azure Al Content Understanding is available in preview. Public preview releases provide early access to features that are in active development.· Features, approaches, and processes can change or have limited capabilities, before General Availability (GA).. For more information, see Supplemental Terms of Use for Microsoft Azure PreviewsAzure Content Understanding is a Foundry Tool that uses generative AI to process/ingest content of many types (documents, images, videos, and audio) into a user-defined output format.Content Understanding offers a streamlined process to reason over large amounts of unstructured data, accelerating time-to-value by generating an output that can be integrated into automation and analytical workflows.<figure>\n\nInputs\n\nAnalyzers\n\nOutput\n\n0\nSearch\n\nContent Extraction\n\nField Extraction\n\nDocuments\n\nNew\n\nAgents\n\nPreprocessing\n\nEnrichments\n\nReasoning\n\nImage\n\nNormalization\n(resolution,\nformats)\n\nSpeaker\nrecognition\n\nGen Al\nContext\nwindows\n\nPostprocessing\nConfidence\nscores\nGrounding\nNormalization\n\nMulti-file input\nReference data\n\nDatabases\n\nVideo\n\nOrientation /\nde-skew\n\nLayout and\nstructure\n\nPrompt tuning\n\nStructured\noutput\n\nAudio\n\nFace grouping\n\nMarkdown or JSON schema\n\nCopilots\n\nApps\n\n\\+\n\nFaurIC\n\n</figure>",
        "locationMetadata": {
          "pageNumberFrom": 1,
          "pageNumberTo": 1,
          "ordinalPosition": 0,
          "source": "D(1,0.6348,0.3598,7.2258,0.3805,7.223,1.2662,0.632,1.2455);D(1,0.6334,1.3758,1.3896,1.3738,1.39,1.5401,0.6338,1.542);D(1,0.8104,2.0716,1.8137,2.0692,1.8142,2.2669,0.8109,2.2693);D(1,1.0228,2.5023,7.6222,2.5029,7.6221,3.0075,1.0228,3.0069);D(1,1.0216,3.1121,7.3414,3.1057,7.342,3.6101,1.0221,3.6165);D(1,1.0219,3.7145,7.436,3.7048,7.4362,3.9006,1.0222,3.9103);D(1,0.6303,4.3295,7.7875,4.3236,7.7879,4.812,0.6307,4.8179);D(1,0.6304,5.0295,7.8065,5.0303,7.8064,5.7858,0.6303,5.7849);D(1,0.635,5.9572,7.8544,5.9573,7.8562,8.6971,0.6363,8.6968);D(1,0.6381,9.1451,5.2731,9.1476,5.2729,9.4829,0.6379,9.4803)"
        }
      },
      ...
      {
        "id": "2_e0e57fd4-e835-4879-8532-73a415e47b0b",
        "content": "<table>\n<tr>\n<th>Application</th>\n<th>Description</th>\n</tr>\n<tr>\n<td>Post-call analytics</td>\n<td>Businesses and call centers can generate insights from call recordings to track key KPIs, improve product experience, generate business insights, create differentiated customer experiences, and answer queries faster and more accurately.</td>\n</tr>\n<tr>\n<th>Application</th>\n<th>Description</th>\n</tr>\n<tr>\n<td>Media asset management</td>\n<td>Software and media vendors can use Content Understanding to extract richer, targeted information from videos for media asset management solutions.</td>\n</tr>\n<tr>\n<td>Tax automation</td>\n<td>Tax preparation companies can use Content Understanding to generate a unified view of information from various documents and create comprehensive tax returns.</td>\n</tr>\n<tr>\n<td>Chart understanding</td>\n<td>Businesses can enhance chart understanding by automating the analysis and interpretation of various types of charts and diagrams using Content Understanding.</td>\n</tr>\n<tr>\n<td>Mortgage application processing</td>\n<td>Analyze supplementary supporting documentation and mortgage applications to determine whether a prospective home buyer provided all the necessary documentation to secure a mortgage.</td>\n</tr>\n<tr>\n<td>Invoice contract verification</td>\n<td>Review invoices and contr",
        "locationMetadata": {
          "pageNumberFrom": 2,
          "pageNumberTo": 3,
          "ordinalPosition": 3,
          "source": "D(2,0.6438,9.2645,7.8576,9.2649,7.8565,10.5199,0.6434,10.5194);D(3,0.6494,0.3919,7.8649,0.3929,7.8639,4.3254,0.6485,4.3232)"
        }
        ...
      }
    ],
    "normalized_images": [
        { 
            "id": "1_335140f1-9d31-4507-8916-2cde758639cb", 
            "data": "aW1hZ2UgMSBkYXRh", 
            "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NVLnBkZg2/normalized_images_0.jpg",  
            "locationMetadata": {
              "pageNumberFrom": 1,
              "pageNumberTo": 1,
              "ordinalPosition": 0,
              "source": "D(1,0.635,5.9572,7.8544,5.9573,7.8562,8.6971,0.6363,8.6968)"
            }
        },
        { 
            "id": "3_699d33ac-1a1b-4015-9cbd-eb8bfff2e6b4", 
            "data": "aW1hZ2UgMiBkYXRh", 
            "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NVLnBkZg2/normalized_images_1.jpg",  
            "locationMetadata": {
              "pageNumberFrom": 3,
              "pageNumberTo": 3,
              "ordinalPosition": 1,
              "source": "D(3,0.6353,5.2142,7.8428,5.218,7.8443,8.4631,0.6363,8.4594)"
            } 
        }
    ] 
}

locationMetadata is gebaseerd op de source eigenschap die door Azure Content Understanding wordt geleverd. Voor informatie over hoe de visuele positie van het element in het bestand wordt gecodeerd, zie Documentanalyse: Extracteer gestructureerde inhoud.

imagePath vertegenwoordigt het relatieve pad van een opgeslagen afbeelding. Als de projectie van het knowledge store-bestand in de skillset is geconfigureerd, komt dit pad overeen met het relatieve pad van de afbeelding die in de knowledge store is opgeslagen.

Voorbeeld 2: Semantische segmentering met afbeeldingsbeschrijving (preview)

Dit voorbeeld, dat beschikbaar is vanaf de 2026-05-01-preview REST API, maakt gebruik van semantische segmentering en produceert door AI gegenereerde beschrijvingen van ingesloten afbeeldingen, grafieken en diagrammen. De Foundry-resource die is gekoppeld aan de vaardighedenset, moet het voltooiingsmodel voor chats hebben geïdentificeerd door modelName en de geïmplementeerde modelDeployment.

{
  "skills": [
    {
      "description": "Extract and chunk document content with image descriptions",
      "@odata.type": "#Microsoft.Skills.Util.ContentUnderstandingSkill",
      "context": "/document",
      "modelName": "gpt-4.1",
      "modelDeployment": "myGpt41Deployment",
      "extractionOptions": ["images", "locationMetadata"],
      "chunkingProperties": {
        "method": "semantic",
        "unit": "tokens",
        "maximumLength": 500
      },
      "inputs": [
        {
          "name": "file_data",
          "source": "/document/file_data"
        }
      ],
      "outputs": [
        {
          "name": "text_sections",
          "targetName": "text_sections"
        },
        {
          "name": "normalized_images",
          "targetName": "normalized_images"
        }
      ]
    }
  ]
}

Met semantische segmentering bevat elk segment text_sections Markdown-inhoud met door AI gegenereerde beschrijvingen van afbeeldingen en tabellen die hierin worden behandeld. Wanneer een segment overlapt met een of meer afbeeldingsbereiken, bevat het segmentobject ook een imagePath veld met de bijbehorende afbeeldingspaden:

{
  "id": "1_d4545398-8df1-409f-acbb-f605d851ae85",
  "content": "# Architecture overview\n\nThe following diagram summarizes the ingestion pipeline...\n\n<figure>The diagram shows three stages: Inputs, Analyzers, and Output. Inputs include documents, images, video, and audio. Analyzers perform preprocessing, enrichments, and reasoning. Output is structured Markdown or JSON consumed by search, agents, copilots, and apps.</figure>",
  "locationMetadata": {
    "pageNumberFrom": 1,
    "pageNumberTo": 1,
    "ordinalPosition": 0,
    "source": "D(1,0.6348,0.3598,7.2258,0.3805,7.223,1.2662,0.632,1.2455)"
  },
  "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NVLnBkZg2/normalized_images_0.jpg"
}

Verwante inhoud

• Wat is Azure inhoudsbegrip in Foundry Tools?
• Ingebouwde vaardigheden
• Creëer een skillset
• Indexeerfuncties - Maken (REST API)