Azure Vision çok modüllü ekleme becerisi (önizleme)

Azure Vision çok modüllü ekleme becerisi (önizleme), metin veya görüntü girişi için eklemeler oluşturmak üzere Döküm Araçları'ndaki Azure Görüntü İşleme'den çok modüllü eklemeLER API'sini kullanır.

Günde indeksleyici başına 20 belgeyi aşan işlemler için, bu beceri Foundry kaynağı ile faturalandırılabilir bir Microsoft kaynağı eklemenizi gerektirir. Yerleşik becerilerin uygulanması mevcut Foundry Tools Standard fiyatıyla ücretlendirilir. Görüntü çıkarımı da faturalandırılabilir Azure Yapay Zeka Arama tarafından sunulur.

Microsoft Foundry kaynağı yalnızca faturalandırma amacıyla kullanılır. İçerik işleme, Azure Yapay Zeka Arama tarafından yönetilen ve bakımını sağlayan ayrı kaynaklarda gerçekleşir. Verileriniz, kaynağınızın konuşlandırıldığı Geo'da işlenir.

Desteklenen bölgeler

Desteklenen bölgeler, becerinin Azure Vision multimodal embeddings API'sine nasıl bağlandığına göre değişir.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

Veri sınırları

Becerinin giriş sınırları Azure Vision dokümantasyonu görüntüler ve metinler için bulunabilir. Metin girişleri için veri parçalaması gerekiyorsa Metin Bölme yeteneğini kullanmayı düşün.

Uygulanabilir girdiler şunlardır:

• Görüntü giriş dosya boyutu 20 megabayttan (MB) daha az olmalıdır. Görüntü boyutu 10 x 10 pikselden büyük ve 16.000 x 16.000 pikselden az olmalıdır.
• Metin giriş dizisi (kapsayıcı) bir kelime ile 70 kelime arasında olmalıdır.

Beceri parametreleri

Parametreler büyük/küçük harfe duyarlıdır.

Beceri girişleri

Beceri tanımı girdileri isim, kaynak ve girdileri içerir. Aşağıdaki tablo, girinin adı için geçerli değerler sağlar. Ayrıca özyinelemeli girişleri de belirtebilirsiniz. Daha fazla bilgi için REST API referansına ve Bir beceri seti oluştura bakabilirsiniz.

Yalnızca bir texttanesi , image veya url/queryString tek bir yetenek örneği için yapılandırılabilir. Aynı beceri seti içinde hem görselleri hem de metni vektörize etmek istiyorsanız, bu becerinin iki örneğini yetenek seti tanımına ekleyin; kullanmak istediğiniz her giriş türü için bir tane ekleyin.

Beceri çıkışları

Örnek tanım

Metin girişi için, aşağıdaki içeriğe sahip bir blob düşünün:

{
    "content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square  kilometers of South America."
}

Metin girişleri için beceri tanımınız şöyle görünebilir:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector",
            "targetName": "text_vector"
        } 
    ] 
} 

Görüntü girişi için, aynı yetenek setinde ikinci bir yetenek tanımı şöyle görünebilir:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Eğer indeksleme sırasında görüntüleri çıkarmak yerine blob depolama veri kaynağından doğrudan görüntüleri vektörize etmek istiyorsanız, yetenek tanımınız bir URL ve depolama güvenliğine bağlı olarak SAS tokenı belirtmelidir. Bu senaryoda, beceri tanımınız şöyle görünebilir:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Örnek çıkış verisi

Verilen girdi için, vektörize gömülü çıktı üretilir. Çıktı 1.024 boyuttur; bu, Azure Vision multimodal API tarafından desteklenen boyut sayısıdır.

{
  "text_vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

Çıkış bellekte bulunur. Bu çıktıyı arama indeksindeki bir alana göndermek için, vektörize gömme çıktısını (yani bir dizi) bir vektör alanına eşleyen bir outputFieldMapping tanımlamanız gerekir. Yetenek çıktısının belgenin vektör düğümünde olduğunu ve content_vector arama indeksindeki alan olduğunu varsayarsak, indeksleyicideki outputFieldMapping şöyle görünmelidir:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

Resim gömülmelerini indeksle eşlemek için indeks projeksiyonları kullanılır. Yük aşağıdaki indexProjections örnek gibi görünebilir. image_content_vector, indekste bir alan ve normalized_images dizinin vektöründe bulunan içerikle doldurulur.

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "image_content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

Ayrıca bakınız

• Yerleşik beceriler
• Bir beceri seti nasıl tanımlanır?
• Görsellerden metin ve bilgi çıkarma
• Çıkış alanları eşlemeleri nasıl tanımlanır
• Dizin Projeksiyonları
• Azure Vision multimodal gömme API