Azure Vision 멀티모달 포함 기술(미리 보기)

Azure Vision 멀티모달 embeddings 기술(미리 보기)은 Foundry Tools의 Azure Vision에서 멀티모달 포함 API를 사용하여 텍스트 또는 이미지 입력에 대한 포함을 생성합니다.

인덱서당 하루에 20개를 초과하는 거래가 발생할 경우, 이 기술은 청구 가능한 Microsoft Foundry 리소스를 귀하의 스킬셋에 부착해야 합니다. 내장 기술 실행은 기존 파운드리 공구 표준 가격으로 부과됩니다. 이미지 추출은 Azure AI 검색<>c0> 청구 대상도 <.

Microsoft Foundry 리소스는 청구 목적으로만 사용됩니다. 콘텐츠 처리는 Azure AI 검색가 관리하고 유지하는 별도의 리소스에서 이루어집니다. 데이터는 자원이 배치된 지오(Geo )에서 처리됩니다.

지원되는 지역

지원되는 지역은 모달리티와 스킬이 Azure Vision 멀티모달 임베딩 API와 어떻게 연결되는지에 따라 다릅니다.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

데이터 제한

이 기술의 입력 제한은 이미지와 텍스트에 대한 Azure Vision 문서에서 확인할 수 있습니다. 텍스트 입력에 데이터 청킹이 필요하다면 텍스트 분할 스킬 을 고려해 보세요.

적용 가능한 입력 요소는 다음과 같습니다:

• 이미지 입력 파일 크기는 20메가바이트(MB) 미만이어야 합니다. 이미지 크기는 10 x 10 픽셀 이상이어야 하며, 16,000 x 16,000 픽셀 미만이어야 합니다.
• 텍스트 입력 문자열은 (포함) 단어 1단어에서 70단어 사이여야 합니다.

기술 매개 변수

매개변수는 대소문자에 구분됩니다.

기술 입력

기술 정의 입력에는 이름, 출처, 입력이 포함됩니다. 다음 표는 입력 이름에 대한 유효한 값을 제공합니다. 재귀 입력도 지정할 수 있습니다. 자세한 내용은 REST API 참고 자료와 기술 세트 만들기를 참조하세요.

스킬 인스턴스 중 textimage 하나만 , 또는url/queryString하나만 설정할 수 있습니다. 같은 스킬셋 내에서 이미지와 텍스트를 모두 벡터화하고 싶다면, 스킬셋 정의에 각 입력 유형별로 두 개의 인스턴스를 포함하세요.

기술 성과

샘플 정의

텍스트 입력에 대해, 다음과 같은 내용을 가진 블롭을 생각해 보세요:

{
    "content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square  kilometers of South America."
}

텍스트 입력의 경우, 스킬 정의는 다음과 같이 나올 수 있습니다:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector",
            "targetName": "text_vector"
        } 
    ] 
} 

이미지 입력의 경우, 같은 스킬셋 내 두 번째 스킬 정의는 다음과 같을 수 있습니다:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

인덱싱 중에 이미지를 추출하는 대신 블롭 저장소 데이터 소스에서 직접 이미지를 벡터화하고 싶다면, 스킬 정의에 URL과 저장 보안에 따라 SAS 토큰을 지정해야 합니다. 이 시나리오에서 당신의 스킬 정의는 다음과 같을 수 있습니다:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

샘플 출력

주어진 입력에 대해 벡터화된 임베딩 출력이 생성됩니다. 출력은 1,024개의 차원으로, 이는 Azure Vision 멀티모달 API가 지원하는 차원 수입니다.

{
  "text_vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

출력은 메모리에 저장됩니다. 이 출력을 검색 인덱스의 필드로 보내려면, 벡터화된 임베딩 출력(배열)을 벡터 필드에 매핑하는 outputFieldMapping을 정의해야 합니다. 스킬 출력이 문서의 벡터 노드에 있고, content_vector 가 검색 인덱스의 필드라고 가정하면, 인덱서의 outputFieldMapping은 다음과 같이 보여야 합니다:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

이미지 임베딩을 인덱스에 매핑할 때는 인덱스 투영법을 사용합니다. 의 indexProjections 페이로드는 다음과 같은 예시와 비슷할 수 있습니다. image_content_vector 인덱스 필드이며, normalized_images 배열의 벡터에 있는 내용으로 채워집니다.

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "image_content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

참고하십시오

• 내장된 기술
• 기술 세트를 정의하는 방법
• 이미지에서 텍스트와 정보를 추출하기
• 출력 필드 매핑 정의 방법
• 인덱스 프로젝션
• Azure Vision 멀티모달 임베딩스 API