Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Note
Usługa Foundry IQ (Wyszukiwanie AI platformy Azure) udostępnia bezpośrednie indeksowanie i interfejsy API zapytań wraz ze źródłem wiedzy wyższego poziomu i interfejsami API bazy wiedzy na potrzeby pobierania zarządzanego. Użyj portalu Azure, interfejsów API REST lub Azure SDKs, aby skonfigurować te możliwości lub połączyć agentów z bazami wiedzy w portalu Microsoft Foundry.
Ważna
Azure Umiejętności dotyczące osadzania wielomodalnego usługi Vision są w publicznej wersji zapoznawczej i podlegają dodatkowym warunkom użytkowania Microsoft Azure w wersji zapoznawczej. Aby zapoznać się z terminami wersji zapoznawczej specyficznymi dla tej funkcji, zobacz Funkcjonalność w wersji zapoznawczej.
Umiejętność osadzania wielomodalnego Azure Vision (wersja zapoznawcza) używa interfejsu API osadzania wielomodalnego z Azure Vision w narzędziach Foundry Tools do generowania osadzania dla tekstu lub danych wejściowych obrazu.
Dla transakcji przekraczających 20 dokumentów na indeksującego dziennie, ta umiejętność wymaga dołączenia do swojego zestawu umiejętności zasobu Microsoft Foundry rozliczalnego. Wykonanie wbudowanych umiejętności jest pobierane według obowiązującej standardowej ceny Foundry Tools. Wyodrębnianie obrazów jest również rozliczane przez protokół IQ usługi Foundry (Wyszukiwanie AI platformy Azure).
Zasób Microsoft Foundry służy wyłącznie do celów rozliczeniowych. Przetwarzanie zawartości odbywa się na osobnych zasobach zarządzanych i obsługiwanych przez IQ rozwiązania Foundry. Twoje dane są przetwarzane w Geo , gdzie wdrażany jest Twój zasób.
Obsługiwane regiony
Obsługiwane regiony różnią się w zależności od modalności i sposobu połączenia umiejętności z multimodalnym API osadzeń Azure Vision.
| Metoda | Wymaganie |
|---|---|
| Kreator importowania danych |
|
| Programowa, wykorzystując połączenie oparte na kluczach do rozliczeń |
|
| Programowa, wykorzystując bezkluczowe połączenie do rozliczeń | Nie ma wymogu posiadania tego samego regionu. Utwórz usługę IQ usługi Foundry i Microsoft zasób usługi Foundry w dowolnym regionie, w którym każda usługa jest dostępna. |
@odata.type
Microsoft.Skills.Vision.VectorizeSkill
Limity danych
Limity wejściowe dla tej umiejętności można znaleźć w dokumentacji Azure Vision dla obrazów i tekstu. Rozważ użycie umiejętności Text Split , jeśli potrzebujesz podziału danych do wprowadzania tekstu.
Odpowiednie dane wejściowe obejmują:
- Rozmiar pliku wejściowego obrazu musi być mniejszy niż 20 megabajtów (MB). Rozmiar obrazu musi być większy niż 10 x 10 pikseli i mniejszy niż 16 000 x 16 000 pikseli.
- Ciąg tekstu wejściowy musi mieć od (włącznie) jednego słowa do 70 słów.
Parametry umiejętności
W parametrach jest rozróżniana wielkość liter.
| Dane wejściowe | Opis |
|---|---|
modelVersion |
(Wymagane) Wersja modelu (2023-04-15) ma być przekazywana do API osadzeń multimodalnych Azure Vision w celu generowania osadzeń. Osadzenia wektorowe można porównywać i dopasowywać tylko wtedy, gdy pochodzą z tego samego typu modelu. Obrazy wektoryzowane przez jeden model nie będą przeszukiwane przez inny model. Najnowsze API Analizy Obrazów oferuje dwa modele:
|
Dane wejściowe dla umiejętności
Dane wejściowe do definicji umiejętności obejmują nazwę, źródło oraz dane wejściowe. Poniższa tabela przedstawia poprawne wartości nazwy wejścia. Możesz też określić rekurencyjne wejścia. Więcej informacji znajdziesz w sekcji REST API oraz Create a skillsset.
| Dane wejściowe | Opis |
|---|---|
text |
Tekst wejściowy ma być wektoryzowany. Jeśli używasz sekcji danych, źródłem może być /document/pages/*. |
image |
Typ złożony. Obecnie działa tylko z polem "/document/normalized_images", generowanym przez indeksator Azure blobów, gdy imageAction jest ustawione na wartość inną niż none. |
url |
URL do pobrania obrazu do wektoryzacji. |
queryString |
Ciąg zapytania URL do pobrania obrazu do wektoryzacji. Przydatne, jeśli przechowujesz URL i token SAS w osobnych ścieżkach. |
Tylko jeden z text, image lub url/queryString może być skonfigurowany dla pojedynczej instancji tej umiejętności. Jeśli chcesz wektoryzować zarówno obrazy, jak i tekst w ramach tego samego zestawu umiejętności, uwzględnij w definicji zestawu umiejętności dwa przykłady tej umiejętności, po jednym dla każdego typu wejścia, którego chcesz używać.
Dane wyjściowe umiejętności
| Wynik | Opis |
|---|---|
vector |
Tablica osadzająca float dla tekstu wejściowego lub obrazu jest osadzona. |
Przykładowa definicja
Do wprowadzania tekstu rozważmy blob, który zawiera następującą zawartość:
{
"content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square kilometers of South America."
}
Jeśli chodzi o wprowadzanie tekstowe, definicja umiejętności może wyglądać następująco:
{
"@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
"context": "/document",
"modelVersion": "2023-04-15",
"inputs": [
{
"name": "text",
"source": "/document/content"
}
],
"outputs": [
{
"name": "vector",
"targetName": "text_vector"
}
]
}
Dla wprowadzania obrazów druga definicja umiejętności w tym samym zestawie umiejętności może wyglądać tak:
{
"@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
"context": "/document/normalized_images/*",
"modelVersion": "2023-04-15",
"inputs": [
{
"name": "image",
"source": "/document/normalized_images/*"
}
],
"outputs": [
{
"name": "vector",
"targetName": "image_vector"
}
]
}
Jeśli chcesz wektoryzować obrazy bezpośrednio ze źródła danych pamięci blob, zamiast wyodrębniać je podczas indeksowania, definicja umiejętności powinna określać adres URL, a być może token SAS w zależności od bezpieczeństwa przechowywania. W tym scenariuszu definicja umiejętności może wyglądać następująco:
{
"@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
"context": "/document",
"modelVersion": "2023-04-15",
"inputs": [
{
"name": "url",
"source": "/document/metadata_storage_path"
},
{
"name": "queryString",
"source": "/document/metadata_storage_sas_token"
}
],
"outputs": [
{
"name": "vector",
"targetName": "image_vector"
}
]
}
Przykładowe dane wyjściowe
Dla danego wejścia otrzymuje się wektoralne wyjście osadzenia. Wyjście to 1 024 wymiary, co jest liczbą wymiarów obsługiwanych przez multimodalne API Azure Vision.
{
"text_vector": [
0.018990106880664825,
-0.0073809814639389515,
....
0.021276434883475304,
]
}
Wyjście pozostaje w pamięci. Aby wysłać ten wynik do pola w indeksie wyszukiwania, musisz zdefiniować outputFieldMapping , który odwzorowuje wektorowe wyjście osadzenia (czyli tablicę) na pole wektorowe. Zakładając, że wyjście umiejętności znajduje się w węźle wektorowym dokumentu, a content_vector jest polem w indeksie wyszukiwania, outputFieldMapping w indeksatorze powinien wyglądać następująco:
"outputFieldMappings": [
{
"sourceFieldName": "/document/vector/*",
"targetFieldName": "content_vector"
}
]
Do mapowania osadzeń obrazów na indeks używasz projekcji indeksowych. Ładunek dla indexProjections może wyglądać mniej więcej jak w poniższym przykładzie. image_content_vector jest polem w indeksie i jest wypełnione treściami znalezionymi w wektorze tablicy normalized_images .
"indexProjections": {
"selectors": [
{
"targetIndexName": "myTargetIndex",
"parentKeyFieldName": "ParentKey",
"sourceContext": "/document/normalized_images/*",
"mappings": [
{
"name": "image_content_vector",
"source": "/document/normalized_images/*/vector"
}
]
}
]
}