Azure dovednosti s vícemodálními vkládáními ve zpracování obrazu (Preview)

Dovednost Azure multimodální vkládání vision (Preview) využívá rozhraní API pro vkládání multimodálních objektů z nástroje Azure Vision in Foundry k vygenerování vkládání textu nebo obrázku.

U transakcí, které přesahují 20 dokumentů na indexera denně, tato dovednost vyžaduje, abyste k vašemu souboru dovedností připojili Microsoft Foundry zdroj fakturovatelný . Realizace vestavěných dovedností je účtována podle stávající standardní ceny Foundry Tools. Extrakce obrázků je také účtovatelná podle Azure AI Vyhledávač.

Zdroj Microsoft Foundry slouží pouze pro fakturaci. Zpracování obsahu probíhá na samostatných zdrojích spravovaných a udržovaných Azure AI Vyhledávač. Vaše data jsou zpracovávána v Geo , kde je váš zdroj nasazen.

Podporované oblasti

Podporované regiony se liší podle modality a způsobu, jakým je dovednost propojena s Azure Vision multimodal embeddings API.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

Omezení dat

Vstupní limity pro tuto dovednost lze nalézt v dokumentaci Azure Vision pro obrázky a text. Pokud potřebujete rozdělení dat pro textové vstupy, zvažte použití dovednosti Text Split .

Mezi použitelné vstupy patří:

• Velikost vstupního souboru obrazu musí být menší než 20 megabajtů (MB). Velikost obrazu musí být větší než 10 x 10 pixelů a menší než 16 000 x 16 000 pixelů.
• Textový vstupní řetězec musí mít mezi (zahrnovaně) jedno slovo a 70 slovy.

Parametry dovedností

Parametry rozlišují malá a velká písmena.

Vstupy dovedností

Vstupy pro definici dovedností zahrnují jméno, zdroj a vstupy. Následující tabulka uvádí platné hodnoty názvu vstupu. Můžete také specifikovat rekurzivní vstupy. Pro více informací viz odkaz na REST API a Create a skillsset.

Pouze jeden z text, image nebo url/queryString lze nastavit pro jednu instanci dovednosti. Pokud chcete vektorizovat jak obrázky, tak text v rámci stejné dovednosti, zahrňte do definice dovednosti dvě instance této dovednosti, jednu pro každý typ vstupu, který chcete použít.

Výstupy schopností

Ukázková definice

Pro zadávání textu uvažujme blob, který obsahuje následující obsah:

{
    "content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square  kilometers of South America."
}

U textových vstupů může definice dovednosti vypadat takto:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector",
            "targetName": "text_vector"
        } 
    ] 
} 

Pro vstup obrázků by druhá definice dovednosti ve stejné sadě dovedností mohla vypadat takto:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Pokud chcete vektorizovat obrázky přímo ze zdroje dat blob storage místo extrakce obrázků během indexování, definice dovednosti by měla specifikovat URL a případně SAS token v závislosti na bezpečnosti úložiště. V tomto scénáři by definice dovednosti mohla vypadat takto:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Ukázkový výstup

Pro daný vstup je vytvořen vektorizovaný výstup vnoření. Výstup má 1 024 rozměrů, což je počet dimenzí podporovaných multimodálním API Azure Vision.

{
  "text_vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

Výstup zůstává v paměti. Pro odeslání tohoto výstupu do pole v indexu vyhledávání musíte definovat outputFieldMapping , který mapuje vektorizovaný výstup embeddingu (což je pole) na vektorové pole. Za předpokladu, že výstup dovednosti se nachází ve vektorovém uzlu dokumentu a content_vector je pole v indexu, výstupFieldMapping v indexeru by měl vypadat takto:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

Pro mapování zobrazení obrázků na index používáte indexové projekce. Užitečné zatížení pro indexProjections může vypadat asi jako následující příklad. image_content_vector je pole v indexu a je vyplněno obsahem nalezeným ve vektorunormalized_images pole.

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "image_content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

Viz také

• Předdefinované dovednosti
• Jak definovat dovednosti
• Extrahujte text a informace z obrázků
• Jak definovat mapování výstupních polí
• Projekce indexů
• Azure rozhraní API pro vkládání ve službě Vision