Azure навык многомодального внедрения визуального зрения (предварительная версия)

Навык многомодального внедрения Azure Vision (предварительная версия) использует API многомодальных внедрения из Azure Vision в средства Foundry для создания внедренных данных для ввода текста или изображения.

Для транзакций, превышающих 20 документов на индексатор в день, этот навык требует прикрепить к вашему набору оплачиваемых ресурсов Microsoft Foundry. Выполнение встроенных навыков оплачивается по существующей стандартной цене Foundry Tools. Извлечение изображений также оплачиваемо по Поиск с использованием ИИ Azure.

Ресурс Microsoft Foundry используется исключительно для целей выставления счетов. Обработка контента осуществляется на отдельных ресурсах, управляемых и поддерживаемых Поиск с использованием ИИ Azure. Ваши данные обрабатываются в Geo , где развернут ваш ресурс.

Поддерживаемые регионы

Поддерживаемые регионы различаются в зависимости от модальности и того, как навык связан с мультимодальными встраивающими API Azure Vision.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

Ограничения данных

Ограничения на ввод навыка можно найти в документации Azure Vision для изображений и текста. Рассмотрите возможность использования навыка «Разделение текста », если вам нужен фрагмент данных для текстовых ввода.

Применимые входные данные включают:

• Размер входного файла изображения должен быть менее 20 мегабайт (МБ). Размер изображения должен быть больше 10 x 10 пикселей и менее 16 000 x 16 000 пикселей.
• Строка ввода текста должна быть от (включительно) одного слова до 70 слов.

Параметры навыков

Параметры чувствительны к регистру.

Входные параметры навыков

Входные данные для определения навыков включают имя, источник и входные данные. В следующей таблице приведены допустимые значения для имени входного сигнала. Вы также можете указать рекурсивные входы. Для получения дополнительной информации смотрите ссылку на REST API и раздел «Создать набор навыков».

Только один из text, image или url/queryString может быть настроен для одного экземпляра навыка. Если вы хотите векторизовать и изображения, и текст в одном наборе навыков, включите два примера этого навыка в определение набора навыков — по одному для каждого типа ввода, который вы хотите использовать.

Выходные данные навыка

Пример определения

Для текста рассмотрим blob с следующим содержанием:

{
    "content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square  kilometers of South America."
}

Для текстовых вводов ваше определение навыка может выглядеть так:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector",
            "targetName": "text_vector"
        } 
    ] 
} 

Для ввода изображения второе определение навыка в том же наборе навыков может выглядеть так:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Если вы хотите векторизовать изображения напрямую из источника данных вашего blob-хранилища, а не извлекать изображения во время индексации, в определении навыка должен быть указан URL и, возможно, токен SAS в зависимости от безопасности хранилища. В таком случае ваше определение навыка может выглядеть так:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Пример полученных результатов

Для данного входа получается векторный выход вложения. Выход — 1 024 измерения, это количество измерений, поддерживаемых мультимодальным API Azure Vision.

{
  "text_vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

Вывод хранится в памяти. Чтобы отправить этот вывод в поле в индексе поиска, необходимо определить outputFieldMapping , который отображает векторный выход вложения (то есть массив) в векторное поле. Если результат навыка находится в векторном узле документа, а content_vector — это поле в индексе поиска, результатFieldMapping в индексаторе должен выглядеть следующим образом:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

Для сопоставления эмбеддингов изображений в индекс используются индексные проекции. Полезная нагрузка indexProjections для может выглядеть примерно так, как приведён следующий пример. image_content_vector — это поле в индексе, которое заполняется содержимым, найдённым в векторемассива normalized_images .

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "image_content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

См. также

• Встроенные навыки
• Как определить набор навыков
• Извлечение текста и информации из изображений
• Как определить отображения выходных полей
• Проекции индекса
• Azure API мультимодальных вложений Vision