umiejętność osadzania wielomodalnego Azure Vision (wersja zapoznawcza)

Umiejętność osadzania wielomodalnego Azure Vision (wersja zapoznawcza) używa interfejsu API osadzania wielomodalnego z Azure Vision w narzędziach Foundry Tools do generowania osadzania dla tekstu lub danych wejściowych obrazu.

Dla transakcji przekraczających 20 dokumentów na indeksującego dziennie, ta umiejętność wymaga dołączenia do swojego zestawu umiejętności zasobu Microsoft Foundry rozliczalnego. Wykonanie wbudowanych umiejętności jest pobierane według obowiązującej standardowej ceny Foundry Tools. Ekstrakcja obrazów jest również rozliczalna przez Wyszukiwanie AI platformy Azure.

Zasób Microsoft Foundry służy wyłącznie do celów rozliczeniowych. Przetwarzanie treści odbywa się na oddzielnych zasobach zarządzanych i utrzymywanych przez Wyszukiwanie AI platformy Azure. Twoje dane są przetwarzane w Geo , gdzie wdrażany jest Twój zasób.

Obsługiwane regiony

Obsługiwane regiony różnią się w zależności od modalności i sposobu połączenia umiejętności z multimodalnym API osadzeń Azure Vision.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

Limity danych

Limity wejściowe dla tej umiejętności można znaleźć w dokumentacji Azure Vision dla obrazów i tekstu. Rozważ użycie umiejętności Text Split , jeśli potrzebujesz podziału danych do wprowadzania tekstu.

Odpowiednie dane wejściowe obejmują:

• Rozmiar pliku wejściowego obrazu musi być mniejszy niż 20 megabajtów (MB). Rozmiar obrazu musi być większy niż 10 x 10 pikseli i mniejszy niż 16 000 x 16 000 pikseli.
• Ciąg tekstu wejściowy musi mieć od (włącznie) jednego słowa do 70 słów.

Parametry umiejętności

W parametrach jest rozróżniana wielkość liter.

Dane wejściowe dla umiejętności

Dane wejściowe do definicji umiejętności obejmują nazwę, źródło oraz dane wejściowe. Poniższa tabela przedstawia poprawne wartości nazwy wejścia. Możesz też określić rekurencyjne wejścia. Więcej informacji znajdziesz w sekcji REST API oraz Create a skillsset.

Tylko jeden z text, image lub url/queryString może być skonfigurowany dla pojedynczej instancji tej umiejętności. Jeśli chcesz wektoryzować zarówno obrazy, jak i tekst w ramach tego samego zestawu umiejętności, uwzględnij w definicji zestawu umiejętności dwa przykłady tej umiejętności, po jednym dla każdego typu wejścia, którego chcesz używać.

Dane wyjściowe umiejętności

Przykładowa definicja

Do wprowadzania tekstu rozważmy blob, który zawiera następującą zawartość:

{
    "content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square  kilometers of South America."
}

Jeśli chodzi o wprowadzanie tekstowe, definicja umiejętności może wyglądać następująco:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector",
            "targetName": "text_vector"
        } 
    ] 
} 

Dla wprowadzania obrazów druga definicja umiejętności w tym samym zestawie umiejętności może wyglądać tak:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Jeśli chcesz wektoryzować obrazy bezpośrednio ze źródła danych pamięci blob, zamiast wyodrębniać je podczas indeksowania, definicja umiejętności powinna określać adres URL, a być może token SAS w zależności od bezpieczeństwa przechowywania. W tym scenariuszu definicja umiejętności może wyglądać następująco:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Przykładowe dane wyjściowe

Dla danego wejścia otrzymuje się wektoralne wyjście osadzenia. Wyjście to 1 024 wymiary, co jest liczbą wymiarów obsługiwanych przez multimodalne API Azure Vision.

{
  "text_vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

Wyjście pozostaje w pamięci. Aby wysłać ten wynik do pola w indeksie wyszukiwania, musisz zdefiniować outputFieldMapping , który odwzorowuje wektorowe wyjście osadzenia (czyli tablicę) na pole wektorowe. Zakładając, że wyjście umiejętności znajduje się w węźle wektorowym dokumentu, a content_vector jest polem w indeksie wyszukiwania, outputFieldMapping w indeksatorze powinien wyglądać następująco:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

Do mapowania osadzeń obrazów na indeks używasz projekcji indeksowych. Ładunek dla indexProjections może wyglądać mniej więcej jak w poniższym przykładzie. image_content_vector jest polem w indeksie i jest wypełnione treściami znalezionymi w wektorze tablicy normalized_images .

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "image_content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

Zobacz także

• Wbudowane umiejętności
• Jak zdefiniować zestaw umiejętności
• Wyodrębniaj tekst i informacje z obrazów
• Jak zdefiniować mapowania pól wyjściowych
• Projekcje indeksów
• interfejs API osadzania wielomodalnego Azure Vision