Azure Vision multimodala inbäddningsfärdighet (förhandsversion)

Den Azure Vision multimodala inbäddningsfärdigheten (förhandsversion) använder API:et för multimodala inbäddningar från Azure Vision i Foundry Tools för att generera inbäddningar för text- eller bildindata.

För transaktioner som överstiger 20 dokument per indexerare per dag kräver denna färdighet att du bifogar en debiterbar Microsoft Foundry-resurs till din kompetens. Utförandet av inbyggda färdigheter debiteras till det befintliga Foundry Tools Standard-priset. Bildextraktion är också fakturerbart av Azure AI-sökning.

Microsoft Foundry-resursen används endast för faktureringsändamål. Innehållsbearbetning sker på separata resurser som hanteras och underhålls av Azure AI-sökning. Din data bearbetas i Geo där din resurs är distribuerad.

Regioner som stöds

Stödda regioner varierar beroende på modalitet och hur färdigheten kopplas till Azure Vision multimodal embeddings API.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

Databegränsningar

Inmatningsgränserna för färdigheten finns i dokumentationen Azure Vision för bilder och text. Överväg att använda Text Split-färdigheten om du behöver datachunking för textinmatning.

Tillämpliga indata inkluderar:

• Bildinmatningsfilstorleken måste vara mindre än 20 megabyte (MB). Bildstorleken måste vara större än 10 x 10 pixlar och mindre än 16 000 x 16 000 pixlar.
• Textinmatningssträngen måste vara mellan (inklusive) ett ord och 70 ord.

Kompetensparametrar

Parametrar är skiftlägeskänsliga.

Kunskapsindata

Färdighetsdefinitionsindata inkluderar namn, källa och indata. Följande tabell ger giltiga värden för indatans namn. Du kan också specificera rekursiva indata. För mer information, se REST API-referensen och Skapa en kompetensuppsättning.

Endast en av text, image eller url/queryString kan konfigureras för en enda instans av färdigheten. Om du vill vektorisera både bilder och text inom samma färdighetsuppsättning, inkludera två instanser av denna färdighet i färdighetsdefinitionen, en för varje inmatningstyp du vill använda.

Färdighetsresultat

Exempeldefinition

För textinmatning, betrakta en blob som har följande innehåll:

{
    "content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square  kilometers of South America."
}

För textinmatningar kan din färdighetsdefinition se ut så här:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector",
            "targetName": "text_vector"
        } 
    ] 
} 

För bildinmatning kan en andra färdighetsdefinition inom samma kompetensuppsättning se ut så här:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Om du vill vektorisera bilder direkt från din bloblagringsdatakälla istället för att extrahera bilder under indexering, bör din färdighetsdefinition specificera en URL, och kanske en SAS-token beroende på lagringssäkerheten. I detta scenario kan din färdighetsdefinition se ut så här:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Exempel på utdata

För den givna indatan produceras en vektoriserad inbäddningsutgång. Utdata är 1 024 dimensioner, vilket är antalet dimensioner som stöds av Azure Vision multimodala API.

{
  "text_vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

Utgången finns i minnet. För att skicka denna utdata till ett fält i sökindexet måste du definiera en outputFieldMapping som mappar den vektoriserade inbäddningsutdata (som är en array) till ett vektorfält. Om man antar att färdighetsutdata finns i dokumentets vektornod , och content_vector är fältet i sökindexet, bör outputFieldMapping i indexeraren se ut så här:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

För att mappa bildinbäddningar till indexet använder du indexprojektioner. Nyttolasten för indexProjections kan se ut ungefär i följande exempel. image_content_vector är ett fält i indexet, och det fylls med innehållet som finns i vektorn i normalized_images arrayen.

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "image_content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

Se även

• Inbyggda kunskaper
• Hur man definierar en kompetens
• Extrahera text och information från bilder
• Hur man definierar utdatafältsavbildningar
• Indexprojektioner
• API för Azure Vision multimodala inbäddningar