Azure Vision multimodális beágyazási képesség (előzetes verzió)

A Azure Vision multimodális beágyazási képesség (előzetes verzió) a Azure Vision in Foundry Tools multimodális beágyazási API-ját használja a szöveg- vagy képbemenet beágyazásához.

Ha olyan tranzakciók esetén, amelyek naponta 20 dokumentumot haladnak indexelőnként, ehhez a készséghez egy számlázható Microsoft Foundry erőforrást kell csatolnod a készségeidhez. A beépített készségek végrehajtása a meglévő Foundry Tools Standard áron számít. A képkivonás számlázásra is Azure AI Keresés számlázható.

A Microsoft Foundry erőforrást csak számlázási célokra használják. A tartalomfeldolgozás különálló erőforrásokon történik, amelyeket az Azure AI Keresés kezel és karbantart. Az adataidat a Geo rendszeren dolgozzák fel, ahol az erőforrásod telepítve van.

Támogatott régiók

A támogatott régiók modalitástól és attól függően változnak, hogyan kapcsolódik a képesség az Azure Vision multimodális beágyazási API-jához.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

Adatkorlátok

A készség bemeneti korlátai a Azure Vision dokumentációban találhatók képekhez és szöveghez. Fontold meg a Text Split képesség használatát, ha adatfelosztásra van szükséged a szövegbevitelekhez.

Az alkalmazható bemenetek a következők:

• A képbemeneti fájlméretnek kevesebbnek kell lennie, mint 20 megabájt (MB). A képméretnek nagyobbnak kell lennie 10 x 10 pixelnél, és kevesebbnek kell lennie 16 000 x 16 000 pixelnél.
• A szövegbemeneti láncsornak (inkluzív) egy szó és 70 szó között kell lennie.

Képességparaméterek

A paraméterek megkülönböztetik a kis- és nagybetűket.

Készségbemenetek

A képességmeghatározás bemenetei közé tartoznak a név, forrás és bemenetek. Az alábbi táblázat érvényes értékeket ad a bemenet nevéhez. Be lehet határozni rekurzív bemeneteket is. További információért lásd a REST API hivatkozást és a Képességkészlet létrehozását.

Csak egy text, image vagy url/queryString egyetlen képesség példányára konfigurálható. Ha képeket és szöveget akarsz vektorizálni ugyanabban a képességkészletben, tegyél be két példányt ebből a képességből a képességkészlet definíciójában, egyet minden bemeneti típushoz, amit használni szeretnél.

Képességkimenetek

Mintadefiníció

Szövegbevitelhez vegyünk egy olyan tömböt, amelynek tartalma a következő volt:

{
    "content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square  kilometers of South America."
}

Szövegbeviteleknél a képességdefiníciód így nézhet ki:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector",
            "targetName": "text_vector"
        } 
    ] 
} 

Képbevitelhez ugyanebben a képességkészletben egy második képességdefiníció így nézhet ki:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Ha közvetlenül a blob tároló adatforrásból akarsz képeket vektorizálni, nem pedig indexeléskor kinyerni képeket, a képességdefiníciódnak URL-t és esetleg SAS tokent kell megadnia a tárolásbiztonságtól függően. Ebben a helyzetben a képességdefiníciód így nézhet ki:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Példakimenet

Az adott bemenethez vektorizált beágyazott kimenetet kapunk. A kimenet 1 024 dimenzió, ami az Azure Vision multimodális API által támogatott dimenziók száma.

{
  "text_vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

A kimenet a memóriában található. Ahhoz, hogy ezt a kimenetet a kereső index egy mezőjébe küldjük, definiálnod kell egy outputFieldMappinget , amely a vektorizált beágyazás kimenetet (ami egy tömb) egy vektormezőhöz képezi. Feltételezve, hogy a képesség kimenete a dokumentum vektorcsomópontjában van, és content_vector a keresőindexben lévő mező, akkor az indexelőben lévő outputFieldMapping így nézzen ki:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

A képbeágyazások indexhez való leképezéséhez indexvetítéseket használsz. A hasznos terhe indexProjections a következő példához hasonlíthat. image_content_vector egy mező az indexben, és a normalized_imagestömb vektorában található tartalommal van töltve.

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "image_content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

Lásd még

• Beépített készségek
• Hogyan definiáljuk a készségkészletet
• Szöveg és információk kinyerése képekből
• Hogyan definiáljuk a kimeneti mezők leképezéseit
• Index-előrejelzések
• Azure Vision multimodális embeddings API