Dokumentum elrendezési képesség

A Document Layout képesség a Azure Document Intelligence in Foundry Tools layout modelljét használja a dokumentum elemzésére, szerkezetének és jellemzőinek felismerésére, valamint szintaktikai ábrázolást készít Markdown vagy szövegformátumban. Ez a képesség támogatja a szöveg- és képkivonást, utóbbi tartalmaz helymetaadatot, amely megőrzi a kép pozícióját a dokumentumban. A képek közelsége a kapcsolódó tartalomhoz hasznos a visszakeresés-augmentált generáló (RAG) és multimodális keresési helyzetekben.

Ha olyan tranzakciók esetén, amelyek naponta 20 dokumentumot haladnak indexelőnként, ehhez a készséghez egy számlázható Microsoft Foundry erőforrást kell csatolnod a készségeidhez. A beépített készségek végrehajtása a meglévő Foundry Tools Standard áron számít.

Ez a cikk a Dokumentumelrendezés képesség referenciadokumentációja. Használati információkért lásd: Hogyan lehet dokumentumelrendezés szerint chunk és vektorizálni.

Limitations

Ennek a képességnek a következő korlátai vannak:

• Ez a képesség nem alkalmas nagyobb dokumentumokhoz, amelyek az Azure Document Intelligence elrendezési modellben öt percnél több mint öt perc feldolgozást igényelnek. A képesség időlejár, de a számlázás miatt továbbra is vonatkozik az Öntödés erőforrására, ha az a képességkészlethez kötött. Biztosítsd a dokumentumok optimalizálását a feldolgozási határokon belül tartsák, hogy elkerüljék a felesleges költségeket.

• Mivel ez a képesség a Azure Document Intelligence elrendezési modellt hívja, minden dokumentált szolgáltatási viselkedés különböző dokumentumtípusok különböző fájltípusokra vonatkozik a kimenetre. Például a Word (DOCX) és PDF fájlok eltérő eredményeket adhatnak a képek kezelésének eltérése miatt. Ha következetes képi viselkedésre van szükség a DOCX és PDF között, fontold meg dokumentumok PDF-re konvertálását vagy a multimodális keresési dokumentáció átnézését alternatív megközelítések céljából.

Támogatott régiók

A Document Layout képesség a Azure Document Intelligence REST API v4.0-át (2024-11-30) hívja.

A támogatott régiók modalitástól és attól függően változnak, hogyan kapcsolódik a képesség az Azure Document Intelligence elrendezési modellhez. Jelenleg a megvalósított elrendezési modell nem támogatja a 21Vianet régiókat.

Támogatott fájlformátumok

Ez a képesség a következő fájlformátumokat ismeri fel:

• .PDF
• . JPEG
• .JPG
• .PNG
• .BMP
• . TIFF
• .DOCX
• . XLSX
• .PPTX
• .HTML

Támogatott nyelvek

A nyomtatott szöveghez lásd: Azure Document Intelligence layout model supported languages.

@odata.type

Microsoft.Skills.Util.DocumentIntelligenceLayoutSkill

Adatkorlátok

• PDF és TIFF esetén legfeljebb 2000 oldal dolgozható fel (ingyenes szintű előfizetéssel csak az első két oldal dolgozható fel).
• Még ha a dokumentumelemzéshez szükséges fájlméret 500 MB is a Azure Document Intelligence fizetős (S0) tier és 4 MB a Azure Document Intelligence free (F0) tier esetén, az indexelés alá van vetve a keresési szolgáltatás indexer limitjeinek alá.
• A képméreteknek 50 pixel x 50 pixel vagy 10 000 pixel x 10 000 pixel között kell lenniük.
• Ha a PDF-jeid jelszóval zároltak, távolítsd el a zárolást, mielőtt elindítsa az indexert.

Képességparaméterek

A paraméterek megkülönböztetik a kis- és nagybetűket.

Készségbemenetek

Az "file_data" bemenetnek egy objektumnak kell lennie, amely így definiálható:

{
  "$type": "file",
  "data": "BASE64 encoded string of the file"
}

Alternatívaként definiálható a következőként:

{
  "$type": "file",
  "url": "URL to download file",
  "sasToken": "OPTIONAL: SAS token for authentication if the URL provided is for a file in blob storage"
}

A fájlreferencia objektum az alábbi módok egyikén generálható:

• Az indexer definícióján a allowSkillsetToReadFileData paramétert true-nak állítom. Ez a beállítás egy olyan útvonalat /document/file_data hoz létre, amely az eredeti fájladatot jelképezi, amit a blob adatforrásból töltenek le. Ez a paraméter csak az Azure Blob tárolóban lévő fájlokra vonatkozik.

  allowSkillsetToReadFileData a letöltött fájladatokat elérhetővé teszi a képesség számára. Nem növeli a blobindexelő vagy az adatkorlátokban leírt dokumentumintelligencia-korlátokat.

• Egyedi képességgel rendelkező JSON objektumdefiníciót adnak vissza, amely , $type, vagy data és url.sastoken A $type paramétert be kell állítani file, és data annak kell lennie a fájltartalom alap 64-es kódolt bájttömbjének. A url paraméternek érvényes URL-nek kell lennie, amely hozzáférést biztosít a fájl letöltéséhez azon a helyen.

Képességkimenetek

Mintadefiníció a markdown kimeneti módhoz

{
  "skills": [
    {
      "description": "Analyze a document",
      "@odata.type": "#Microsoft.Skills.Util.DocumentIntelligenceLayoutSkill",
      "context": "/document",
      "outputMode": "oneToMany", 
      "markdownHeaderDepth": "h3", 
      "inputs": [
        {
          "name": "file_data",
          "source": "/document/file_data"
        }
      ],
      "outputs": [
        {
          "name": "markdown_document", 
          "targetName": "markdown_document" 
        }
      ]
    }
  ]
}

Mintakimenet a markdown kimeneti módhoz

{
  "markdown_document": [
    { 
      "content": "Hi this is Jim \r\nHi this is Joe", 
      "sections": { 
        "h1": "Foo", 
        "h2": "Bar", 
        "h3": "" 
      },
      "ordinal_position": 0
    }, 
    { 
      "content": "Hi this is Lance",
      "sections": { 
         "h1": "Foo", 
         "h2": "Bar", 
         "h3": "Boo" 
      },
      "ordinal_position": 1,
    } 
  ] 
}

A markdownHeaderDepth "sections" szótárban szereplő kulcsok számát szabályozza. A példa képességdefinícióban, mivel a markdownHeaderDepth "h3", három kulcs van a "sections" szótárban: h1, h2, h3.

Példa szövegkimeneti módra, valamint kép- és metaadat kinyerésére

Ez a példa bemutatja, hogyan lehet rögzített méretű darabokban kiadni a szövegtartalmat, és hogyan nyerhetünk képeket és helymetaadatokat a dokumentumból.

Mintadefiníció szövegkimeneti módhoz, valamint kép- és metaadatok kinyeréséhez

{
  "skills": [
    {
      "description": "Analyze a document",
      "@odata.type": "#Microsoft.Skills.Util.DocumentIntelligenceLayoutSkill",
      "context": "/document",
      "outputMode": "oneToMany",
      "outputFormat": "text",
      "extractionOptions": ["images", "locationMetadata"],
      "chunkingProperties": {     
          "unit": "characters",
          "maximumLength": 2000, 
          "overlapLength": 200
      },
      "inputs": [
        {
          "name": "file_data",
          "source": "/document/file_data"
        }
      ],
      "outputs": [
        { 
          "name": "text_sections", 
          "targetName": "text_sections" 
        }, 
        { 
          "name": "normalized_images", 
          "targetName": "normalized_images" 
        } 
      ]
    }
  ]
}

Mintakimenet szövegkimeneti módhoz, valamint kép- és metaadat-kivonáshoz

{
  "text_sections": [
      {
        "id": "1_7e6ef1f0-d2c0-479c-b11c-5d3c0fc88f56",
        "content": "the effects of analyzers using Analyze Text (REST). For more information about analyzers, see Analyzers for text processing.During indexing, an indexer only checks field names and types. There's no validation step that ensures incoming content is correct for the corresponding search field in the index.Create an indexerWhen you're ready to create an indexer on a remote search service, you need a search client. A search client can be the Azure portal, a REST client, or code that instantiates an indexer client. We recommend the Azure portal or REST APIs for early development and proof-of-concept testing.Azure portal1. Sign in to the Azure portal 2, then find your search service.2. On the search service Overview page, choose from two options:· Import data wizard: The wizard is unique in that it creates all of the required elements. Other approaches require a predefined data source and index.All services > Azure Al services | Al Search >demo-search-svc Search serviceSearchAdd indexImport dataImport and vectorize dataOverviewActivity logEssentialsAccess control (IAM)Get startedPropertiesUsageMonitoring· Add indexer: A visual editor for specifying an indexer definition.",
        "locationMetadata": {
          "pageNumber": 1,
          "ordinalPosition": 0,
          "boundingPolygons": "[[{\"x\":1.5548,\"y\":0.4036},{\"x\":6.9691,\"y\":0.4033},{\"x\":6.9691,\"y\":0.8577},{\"x\":1.5548,\"y\":0.8581}],[{\"x\":1.181,\"y\":1.0627},{\"x\":7.1393,\"y\":1.0626},{\"x\":7.1393,\"y\":1.7363},{\"x\":1.181,\"y\":1.7365}],[{\"x\":1.1923,\"y\":2.1466},{\"x\":3.4585,\"y\":2.1496},{\"x\":3.4582,\"y\":2.4251},{\"x\":1.1919,\"y\":2.4221}],[{\"x\":1.1813,\"y\":2.6518},{\"x\":7.2464,\"y\":2.6375},{\"x\":7.2486,\"y\":3.5913},{\"x\":1.1835,\"y\":3.6056}],[{\"x\":1.3349,\"y\":3.9489},{\"x\":2.1237,\"y\":3.9508},{\"x\":2.1233,\"y\":4.1128},{\"x\":1.3346,\"y\":4.111}],[{\"x\":1.5705,\"y\":4.5322},{\"x\":5.801,\"y\":4.5326},{\"x\":5.801,\"y\":4.7311},{\"x\":1.5704,\"y\":4.7307}]]"
        },
        "sections": []
      },
      {
        "id": "2_25134f52-04c3-415a-ab3d-80729bd58e67",
        "content": "All services > Azure Al services | Al Search >demo-search-svc | Indexers Search serviceSearch0«Add indexerRefreshDelete:selected: TagsFilter by name ...:selected: Diagnose and solve problemsSearch managementStatusNameIndexesIndexers*Data sourcesRun the indexerBy default, an indexer runs immediately when you create it on the search service. You can override this behavior by setting disabled to true in the indexer definition. Indexer execution is the moment of truth where you find out if there are problems with connections, field mappings, or skillset construction.There are several ways to run an indexer:· Run on indexer creation or update (default).. Run on demand when there are no changes to the definition, or precede with reset for full indexing. For more information, see Run or reset indexers.· Schedule indexer processing to invoke execution at regular intervals.Scheduled execution is usually implemented when you have a need for incremental indexing so that you can pick up the latest changes. As such, scheduling has a dependency on change detection.Indexers are one of the few subsystems that make overt outbound calls to other Azure resources. In terms of Azure roles, indexers don't have separate identities; a connection from the search engine to another Azure resource is made using the system or user- assigned managed identity of a search service. If the indexer connects to an Azure resource on a virtual network, you should create a shared private link for that connection. For more information about secure connections, see Security in Azure Al Search.Check results",
        "locationMetadata": {
          "pageNumber": 2,
          "ordinalPosition": 1,
          "boundingPolygons": "[[{\"x\":2.2041,\"y\":0.4109},{\"x\":4.3967,\"y\":0.4131},{\"x\":4.3966,\"y\":0.5505},{\"x\":2.204,\"y\":0.5482}],[{\"x\":2.5042,\"y\":0.6422},{\"x\":4.8539,\"y\":0.6506},{\"x\":4.8527,\"y\":0.993},{\"x\":2.5029,\"y\":0.9845}],[{\"x\":2.3705,\"y\":1.1496},{\"x\":2.6859,\"y\":1.15},{\"x\":2.6858,\"y\":1.2612},{\"x\":2.3704,\"y\":1.2608}],[{\"x\":3.7418,\"y\":1.1709},{\"x\":3.8082,\"y\":1.171},{\"x\":3.8081,\"y\":1.2508},{\"x\":3.7417,\"y\":1.2507}],[{\"x\":3.9692,\"y\":1.1445},{\"x\":4.0541,\"y\":1.1445},{\"x\":4.0542,\"y\":1.2621},{\"x\":3.9692,\"y\":1.2622}],[{\"x\":4.5326,\"y\":1.2263},{\"x\":5.1065,\"y\":1.229},{\"x\":5.106,\"y\":1.346},{\"x\":4.5321,\"y\":1.3433}],[{\"x\":5.5508,\"y\":1.2267},{\"x\":5.8992,\"y\":1.2268},{\"x\":5.8991,\"y\":1.3408},{\"x\":5.5508,\"y\":1.3408}]]"
        },
        "sections": []
       }
    ],
    "normalized_images": [ 
        { 
            "id": "1_550e8400-e29b-41d4-a716-446655440000", 
            "data": "SGVsbG8sIFdvcmxkIQ==", 
            "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NyZWF0ZUluZGV4ZXJwNnA3LnBkZg2/normalized_images_0.jpg",  
            "locationMetadata": {
              "pageNumber": 1,
              "ordinalPosition": 0,
              "boundingPolygons": "[[{\"x\":2.0834,\"y\":6.2245},{\"x\":7.1818,\"y\":6.2244},{\"x\":7.1816,\"y\":7.9375},{\"x\":2.0831,\"y\":7.9377}]]"
            }
        },
        { 
            "id": "2_123e4567-e89b-12d3-a456-426614174000", 
            "data": "U29tZSBtb3JlIGV4YW1wbGUgdGV4dA==", 
            "imagePath": "aHR0cHM6Ly9henNyb2xsaW5nLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsaXR5L0NyZWF0ZUluZGV4ZXJwNnA3LnBkZg2/normalized_images_1.jpg",  
            "locationMetadata": {
              "pageNumber": 2,
              "ordinalPosition": 1,
              "boundingPolygons": "[[{\"x\":2.0784,\"y\":0.3734},{\"x\":7.1837,\"y\":0.3729},{\"x\":7.183,\"y\":2.8611},{\"x\":2.0775,\"y\":2.8615}]]"
            } 
        }
    ] 
}

Fontos megjegyezni, hogy a fenti mintaeredmény üresnek “sections” tűnik. Ahhoz, hogy feltöltsd őket, egy további képességet kell hozzáadnod, amely outputFormat állított be állított markdown, hogy a szekciók megfelelően legyenek kitöltve.

A képesség Azure Document Intelligence segítségével számolja ki a helymetaadatokat. Részletekért lásd a Azure Document Intelligence layout model oldali definiálásáról és a határoló poligonkoordinátákat.

A imagePath tárolt kép relatív útját jelöli. Ha a tudásraktár fájl vetítése be van állítva a képességkészletben, ez az út megegyezik a tudásraktárban tárolt kép relatív útjával.

Kapcsolódó tartalom

• Mi az a Azure Document Intelligence elrendezési modell
• Beépített készségek
• Hogyan definiáljuk a készségkészletet
• Létrehoz indexer (REST API)