Azure Content Understanding-färdighet

Färdigheten Azure Content Understanding använder dokumentanalysatorer från Azure Content Understanding in Foundry Tools för att analysera ostrukturerade dokument och andra innehållstyper, och generera organiserade, sökbara utdata som kan integreras i automationsarbetsbelastningar. Denna färdighet extraherar både text och bilder, inklusive platsmetadata som bevarar varje bilds position i dokumentet. Bildnärhet till relaterat innehåll är särskilt användbart för multimodal sökning, agentisk återvinning och generering av återkallelse (RAG).

Färdigheten Azure Content Understanding är bunden till en fakturerbar Microsoft Foundry-resurs. Till skillnad från andra AI-resurskunskaper Azure, såsom Dokumentlayout, tillhandahåller inte Azure Content Understanding-färdigheten 20 gratis dokument per indexerare per dag. Utförandet av denna färdighet debiteras till priset Azure Content Understanding.

Du kan använda Azure Content Understanding-färdigheten för både innehållsextraktion och chunking. Det finns inget behov av att använda Text Split-färdigheten i din kompetens. Denna färdighet implementerar samma gränssnitt som Document Layout-färdigheten, som använder Azure Document Intelligence i Foundry Tools layoutmodell när outputFormat är satt till text. Azure Content Understanding-färdigheten erbjuder dock flera fördelar jämfört med dokumentlayout-färdigheten:

• Tabeller och figurer matas ut i Markdown-format, vilket gör dem lättare för stora språkmodeller (LLM) att förstå. I kontrast ger färdigheten Dokumentlayout tabeller och figurer som klartext, vilket kan leda till informationsförlust.

• För tabeller som sträcker sig över flera sidor kan kunskapen Azure Content Understanding känna igen och extrahera korssidetabeller som en enda enhet.

• Kunskapen Azure Content Understanding gör att segment kan sträcka sig över flera sidor via semantiska enheter.

• Azure Content Understanding-färdigheten är mer kostnadseffektiv än Document Layout-färdigheten eftersom Content Understanding-API:et är billigare.

• Azure Content Understanding kan generera AI-baserade beskrivningar för bilder, diagram, diagram och inbäddade figurer. Inbäddade bildbeskrivningar införlivas direkt i markdown-innehåll som genereras för hämtning. Dessa beskrivningar är sökbara och kan förbättra RAG-jordning och multimodal hämtningskvalitet.

Kunskapen om Azure Content Understanding är allmänt tillgänglig i 2026-04-01 REST API. Från och med 2026-05-01-previewgenererar färdigheten ai-baserade bildbeskrivningar för dokumentbäddade bilder, diagram och diagram (förhandsversion). Om du vill aktivera beskrivningar måste du distribuera en Azure OpenAI-chattens slutförandemodell i foundry-resursen som är kopplad till kompetensuppsättningen. Den här API-versionen lägger också till semantisk segmentering (förhandsversion), ett layoutmedveten alternativ som respekterar styckegränser och mäter segmentlängd i token. Båda funktionerna kräver opt-in. När de nya parametrarna utelämnas fungerar färdigheten på samma sätt som i den stabila 2026-04-01 API-versionen.

Limitations

Azure Content Understanding-färdigheten har följande begränsningar:

• Denna färdighet är inte lämplig för stora dokument som kräver mer än fem minuters bearbetning i Content Understanding-dokumentanalysatorn. Färdigheten går ut på tid, men laddningar gäller fortfarande för Foundry-resursen som är kopplad till färdigheterna. Se till att dokumenten är optimerade för att hålla sig inom behandlingsgränserna för att undvika onödiga kostnader.

• Denna färdighet anropar Azure Content Understanding dokumentanalysator, så alla dokumenterade servicebeteenden för olika dokumenttyper gäller dess utdata. Till exempel kan Word (DOCX) och PDF-filer ge olika resultat på grund av skillnader i hur bilder hanteras. Om konsekvent bildbeteende krävs över DOCX och PDF, överväg att konvertera dokument till PDF eller granska dokumentationen för multimodal sökning för alternativa metoder.

Regioner som stöds

Färdigheten Azure Content Understanding anropar Content Understanding 2025-11-01 REST API. Din Foundry-resurs måste ligga i en stödd region, vilket beskrivs i Azure Content Understanding-region och språkstöd.

Din söktjänst kan vara i vilken stödd Azure AI-sökning region. När din Foundry-resurs och Azure AI-sökning-tjänst inte är i samma region påverkar nätverkslatens över regioner din indexerares prestanda.

Stödda filformat

Azure Content Understanding-färdigheten känner igen följande filformat:

• .PDF
• . JPEG
• .JPG
• .PNG
• .BMP
• . HEIF
• . TIFF
• .DOCX
• . XLSX
• .PPTX
• .HTML
• .TXT
• . MD
• . RTF
• . EML

Språk som stöds

För tryckt text, se Azure Content Understanding-region och språkstöd.

@odata.type

Microsoft.Skills.Util.ContentUnderstandingSkill

Databegränsningar

• Även när filstorleken för att analysera dokument ligger inom 200 MB-gränsen, som beskrivs i Azure Content Understanding-tjänstens kvoter och gränser, omfattas indexeringen fortfarande av indexer-gränserna i din söktjänstnivå.

• Bilddimensionerna måste vara mellan 50 pixlar x 50 pixlar eller 10 000 pixlar x 10 000 pixlar.

• Om dina PDF-filer är lösenordslåsta, ta bort låset innan du kör indexeraren.

Kompetensparametrar

Parametrar är skiftlägeskänsliga.

Kunskapsindata

Indata file_data måste vara ett objekt definierat som:

{
  "$type": "file",
  "data": "BASE64 encoded string of the file"
}

Alternativt kan den definieras som:

{
  "$type": "file",
  "url": "URL to download the file",
  "sasToken": "OPTIONAL: SAS token for authentication if the provided URL is for a file in blob storage"
}

Filreferensobjektet kan genereras på ett av följande sätt:

• Att sätta parametern allowSkillsetToReadFileData i din indexerdefinition till true. Denna inställning skapar en /document/file_data sökväg som är ett objekt som representerar den ursprungliga fildatan nedladdad från din blob-datakälla. Denna parameter gäller endast filer i Azure Blob Storage.

  allowSkillsetToReadFileData gör de nedladdade fildata tillgängliga för kunskapen. Det ökar inte blobindexeringsgränserna eller innehållstolkningstjänstens gränser som beskrivs i Datagränser.

• Att ha en anpassad färdighet som returnerar en JSON-objektdefinition som tillhandahåller $type, data, eller url och sastoken. Parametern $type måste sättas till file, och data måste vara den bas-64-kodade bytearrayen för filinnehållet. Parametern url måste vara en giltig URL med tillgång för att ladda ner filen på den platsen.

Färdighetsresultat

Varje element i text_sections har följande fält:

Varje element i normalized_images har följande fält:

Examples

Det första exemplet använder segmentering med fast storlek och visar hur du matar ut textinnehåll i segment med fast storlek och extraherar bilder tillsammans med platsmetadata från dokumentet. Det andra exemplet, som är tillgängligt från och med REST-API:et 2026-05-01-preview , använder semantisk segmentering med AI-genererade bildbeskrivningar.

Exempel 1: Segmentering med fast storlek med extrahering av bilder och metadata

{
  "skills": [
    {
      "description": "Analyze a document",
      "@odata.type": "#Microsoft.Skills.Util.ContentUnderstandingSkill",
      "context": "/document",
      "extractionOptions": ["images", "locationMetadata"],
      "chunkingProperties": {     
          "unit": "characters",
          "maximumLength": 1325, 
          "overlapLength": 0
      },
      "inputs": [
        {
          "name": "file_data",
          "source": "/document/file_data"
        }
      ],
      "outputs": [
        { 
          "name": "text_sections", 
          "targetName": "text_sections" 
        }, 
        { 
          "name": "normalized_images", 
          "targetName": "normalized_images" 
        } 
      ]
    }
  ]
}

Exempel på utdata

{
  "text_sections": [
      {
        "id": "1_d4545398-8df1-409f-acbb-f605d851ae85",
        "content": "What is Azure Content Understanding (preview)?09/16/2025Important· Azure Al Content Understanding is available in preview. Public preview releases provide early access to features that are in active development.· Features, approaches, and processes can change or have limited capabilities, before General Availability (GA).. For more information, see Supplemental Terms of Use for Microsoft Azure PreviewsAzure Content Understanding is a Foundry Tool that uses generative AI to process/ingest content of many types (documents, images, videos, and audio) into a user-defined output format.Content Understanding offers a streamlined process to reason over large amounts of unstructured data, accelerating time-to-value by generating an output that can be integrated into automation and analytical workflows.<figure>\n\nInputs\n\nAnalyzers\n\nOutput\n\n0\nSearch\n\nContent Extraction\n\nField Extraction\n\nDocuments\n\nNew\n\nAgents\n\nPreprocessing\n\nEnrichments\n\nReasoning\n\nImage\n\nNormalization\n(resolution,\nformats)\n\nSpeaker\nrecognition\n\nGen Al\nContext\nwindows\n\nPostprocessing\nConfidence\nscores\nGrounding\nNormalization\n\nMulti-file input\nReference data\n\nDatabases\n\nVideo\n\nOrientation /\nde-skew\n\nLayout and\nstructure\n\nPrompt tuning\n\nStructured\noutput\n\nAudio\n\nFace grouping\n\nMarkdown or JSON schema\n\nCopilots\n\nApps\n\n\\+\n\nFaurIC\n\n</figure>",
        "locationMetadata": {
          "pageNumberFrom": 1,
          "pageNumberTo": 1,
          "ordinalPosition": 0,
          "source": "D(1,0.6348,0.3598,7.2258,0.3805,7.223,1.2662,0.632,1.2455);D(1,0.6334,1.3758,1.3896,1.3738,1.39,1.5401,0.6338,1.542);D(1,0.8104,2.0716,1.8137,2.0692,1.8142,2.2669,0.8109,2.2693);D(1,1.0228,2.5023,7.6222,2.5029,7.6221,3.0075,1.0228,3.0069);D(1,1.0216,3.1121,7.3414,3.1057,7.342,3.6101,1.0221,3.6165);D(1,1.0219,3.7145,7.436,3.7048,7.4362,3.9006,1.0222,3.9103);D(1,0.6303,4.3295,7.7875,4.3236,7.7879,4.812,0.6307,4.8179);D(1,0.6304,5.0295,7.8065,5.0303,7.8064,5.7858,0.6303,5.7849);D(1,0.635,5.9572,7.8544,5.9573,7.8562,8.6971,0.6363,8.6968);D(1,0.6381,9.1451,5.2731,9.1476,5.2729,9.4829,0.6379,9.4803)"
        }
      },
      ...
      {
        "id": "2_e0e57fd4-e835-4879-8532-73a415e47b0b",
        "content": "<table>\n<tr>\n<th>Application</th>\n<th>Description</th>\n</tr>\n<tr>\n<td>Post-call analytics</td>\n<td>Businesses and call centers can generate insights from call recordings to track key KPIs, improve product experience, generate business insights, create differentiated customer experiences, and answer queries faster and more accurately.</td>\n</tr>\n<tr>\n<th>Application</th>\n<th>Description</th>\n</tr>\n<tr>\n<td>Media asset management</td>\n<td>Software and media vendors can use Content Understanding to extract richer, targeted information from videos for media asset management solutions.</td>\n</tr>\n<tr>\n<td>Tax automation</td>\n<td>Tax preparation companies can use Content Understanding to generate a unified view of information from various documents and create comprehensive tax returns.</td>\n</tr>\n<tr>\n<td>Chart understanding</td>\n<td>Businesses can enhance chart understanding by automating the analysis and interpretation of various types of charts and diagrams using Content Understanding.</td>\n</tr>\n<tr>\n<td>Mortgage application processing</td>\n<td>Analyze supplementary supporting documentation and mortgage applications to determine whether a prospective home buyer provided all the necessary documentation to secure a mortgage.</td>\n</tr>\n<tr>\n<td>Invoice contract verification</td>\n<td>Review invoices and contr",
        "locationMetadata": {
          "pageNumberFrom": 2,
          "pageNumberTo": 3,
          "ordinalPosition": 3,
          "source": "D(2,0.6438,9.2645,7.8576,9.2649,7.8565,10.5199,0.6434,10.5194);D(3,0.6494,0.3919,7.8649,0.3929,7.8639,4.3254,0.6485,4.3232)"
        }
        ...
      }
    ],
    "normalized_images": [
        { 
            "id": "1_335140f1-9d31-4507-8916-2cde758639cb", 
            "data": "aW1hZ2UgMSBkYXRh", 
            "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NVLnBkZg2/normalized_images_0.jpg",  
            "locationMetadata": {
              "pageNumberFrom": 1,
              "pageNumberTo": 1,
              "ordinalPosition": 0,
              "source": "D(1,0.635,5.9572,7.8544,5.9573,7.8562,8.6971,0.6363,8.6968)"
            }
        },
        { 
            "id": "3_699d33ac-1a1b-4015-9cbd-eb8bfff2e6b4", 
            "data": "aW1hZ2UgMiBkYXRh", 
            "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NVLnBkZg2/normalized_images_1.jpg",  
            "locationMetadata": {
              "pageNumberFrom": 3,
              "pageNumberTo": 3,
              "ordinalPosition": 1,
              "source": "D(3,0.6353,5.2142,7.8428,5.218,7.8443,8.4631,0.6363,8.4594)"
            } 
        }
    ] 
}

locationMetadata baseras på egenskapen source som tillhandahålls av Azure Content Understanding. För information om hur elementets visuella position i filen kodas, se Dokumentanalys: Extrahera strukturerat innehåll.

imagePath representerar den relativa vägen för en lagrad bild. Om projektionen av kunskapsfilen är konfigurerad i skillset, matchar denna väg den relativa vägen för bilden som lagras i kunskapslagringen.

Exempel 2: Semantisk segmentering med bildbeskrivning (förhandsversion)

Det här exemplet, som är tillgängligt från och med REST-API:et 2026-05-01-preview , använder semantisk segmentering och producerar AI-genererade beskrivningar av inbäddade bilder, diagram och diagram. Foundry-resursen som är kopplad till kompetensuppsättningen måste ha chattens slutförandemodell identifierad av modelName och den distribuerade modelDeployment.

{
  "skills": [
    {
      "description": "Extract and chunk document content with image descriptions",
      "@odata.type": "#Microsoft.Skills.Util.ContentUnderstandingSkill",
      "context": "/document",
      "modelName": "gpt-4.1",
      "modelDeployment": "myGpt41Deployment",
      "extractionOptions": ["images", "locationMetadata"],
      "chunkingProperties": {
        "method": "semantic",
        "unit": "tokens",
        "maximumLength": 500
      },
      "inputs": [
        {
          "name": "file_data",
          "source": "/document/file_data"
        }
      ],
      "outputs": [
        {
          "name": "text_sections",
          "targetName": "text_sections"
        },
        {
          "name": "normalized_images",
          "targetName": "normalized_images"
        }
      ]
    }
  ]
}

Med semantisk segmentering innehåller varje segment i text_sections Markdown-innehåll som innehåller AI-genererade beskrivningar av alla figurer och tabeller som det omfattar. När ett segment överlappar ett eller flera figurintervall innehåller segmentobjektet även ett imagePath fält som visar motsvarande bildsökvägar:

{
  "id": "1_d4545398-8df1-409f-acbb-f605d851ae85",
  "content": "# Architecture overview\n\nThe following diagram summarizes the ingestion pipeline...\n\n<figure>The diagram shows three stages: Inputs, Analyzers, and Output. Inputs include documents, images, video, and audio. Analyzers perform preprocessing, enrichments, and reasoning. Output is structured Markdown or JSON consumed by search, agents, copilots, and apps.</figure>",
  "locationMetadata": {
    "pageNumberFrom": 1,
    "pageNumberTo": 1,
    "ordinalPosition": 0,
    "source": "D(1,0.6348,0.3598,7.2258,0.3805,7.223,1.2662,0.632,1.2455)"
  },
  "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NVLnBkZg2/normalized_images_0.jpg"
}

Relaterat innehåll

• Vad är Azure innehållsförståelse i Foundry Tools?
• Inbyggda kunskaper
• Skapa en kompetens
• Indexerare – Skapa (REST API)