Azure keterampilan penyematan multimodal Visi (pratinjau)

Keterampilan penyematan multimodal Azure Vision (pratinjau) menggunakan API penyematan multimodal dari Azure Vision di Foundry Tools untuk menghasilkan penyematan untuk input teks atau gambar.

Untuk transaksi yang melebihi 20 dokumen per pengindeks per hari, keterampilan ini mengharuskan Anda untuk lampirkan sumber daya Microsoft Foundry yang dapat ditagih ke keahlian Anda. Eksekusi keterampilan bawaan dikenakan biaya dengan harga Standar Alat Pengecoran yang ada. Ekstraksi gambar juga dapat dapat ditagih oleh Pencarian Azure AI.

Sumber daya Microsoft Foundry hanya digunakan untuk tujuan penagihan. Pemrosesan konten terjadi pada sumber daya terpisah yang dikelola dan dikelola oleh Pencarian Azure AI. Data Anda diproses di Geografis tempat sumber daya Anda disebarkan.

Wilayah yang didukung

Wilayah yang didukung bervariasi menurut modalitas dan bagaimana keterampilan terhubung ke API penyematan multimoda Azure Vision.

@odata.type

Microsoft.Skills.Vision.VectorizeSkill

Batasan data

Batas input untuk keterampilan dapat ditemukan di dokumentasi Azure Vision untuk gambar dan teks. Pertimbangkan untuk menggunakan keterampilan Pemisahan Teks jika Anda memerlukan pemotongan data untuk input teks.

Input yang berlaku meliputi:

• Ukuran file input gambar harus kurang dari 20 megabyte (MB). Ukuran gambar harus lebih besar dari 10 x 10 piksel dan kurang dari 16.000 x 16.000 piksel.
• String input teks harus antara (inklusif) satu kata dan 70 kata.

Parameter keterampilan

Parameter peka huruf besar/kecil.

Masukan keterampilan

Input definisi keterampilan mencakup nama, sumber, dan input. Tabel berikut menyediakan nilai yang valid untuk nama input. Anda juga dapat menentukan input rekursif. Untuk informasi selengkapnya, lihat referensi REST API dan Membuat set keterampilan.

Hanya satu dari text, image atau url/queryString yang dapat dikonfigurasi untuk satu instans keterampilan. Jika Anda ingin membuat vektor gambar dan teks dalam kumpulan keterampilan yang sama, sertakan dua contoh keterampilan ini dalam definisi kumpulan keterampilan, satu untuk setiap jenis input yang ingin Anda gunakan.

Keluaran Keterampilan

Contoh definisi

Untuk input teks, pertimbangkan blob yang memiliki konten berikut:

{
    "content": "Forests, grasslands, deserts, and mountains are all part of the Patagonian landscape that spans more than a million square  kilometers of South America."
}

Untuk input teks, definisi keterampilan Anda mungkin terlihat seperti ini:

{ 
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill", 
    "context": "/document", 
    "modelVersion": "2023-04-15", 
    "inputs": [ 
        { 
            "name": "text", 
            "source": "/document/content" 
        } 
    ], 
    "outputs": [ 
        { 
            "name": "vector",
            "targetName": "text_vector"
        } 
    ] 
} 

Untuk input gambar, definisi keterampilan kedua dalam kumpulan keterampilan yang sama mungkin terlihat seperti ini:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document/normalized_images/*",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "image",
            "source": "/document/normalized_images/*"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Jika Anda ingin mengvektorkan gambar langsung dari sumber data penyimpanan blob Anda daripada mengekstrak gambar selama pengindeksan, definisi keterampilan Anda harus menentukan URL, dan mungkin token SAS tergantung pada keamanan penyimpanan. Untuk skenario ini, definisi keterampilan Anda mungkin terlihat seperti ini:

{
    "@odata.type": "#Microsoft.Skills.Vision.VectorizeSkill",
    "context": "/document",
    "modelVersion": "2023-04-15", 
    "inputs": [
        {
            "name": "url",
            "source": "/document/metadata_storage_path"
        },
        {
            "name": "queryString",
            "source": "/document/metadata_storage_sas_token"
        }
    ],
    "outputs": [
        {
            "name": "vector",
            "targetName": "image_vector"
        }
    ]
}

Contoh keluaran

Untuk input yang diberikan, output penyematan vektor dihasilkan. Output adalah 1.024 dimensi, yang merupakan jumlah dimensi yang didukung oleh API multimodal Azure Vision.

{
  "text_vector": [
        0.018990106880664825,
        -0.0073809814639389515,
        .... 
        0.021276434883475304,
      ]
}

Output berada di memori. Untuk mengirim output ini ke bidang dalam indeks pencarian, Anda harus menentukan outputFieldMapping yang memetakan output penyematan vektor (yang merupakan array) ke bidang vektor. Dengan asumsi output keterampilan berada di simpul vektor dokumen, dan content_vector adalah bidang dalam indeks pencarian, outputFieldMapping di pengindeks akan terlihat seperti:

  "outputFieldMappings": [
    {
      "sourceFieldName": "/document/vector/*",
      "targetFieldName": "content_vector"
    }
  ]

Untuk memetakan penyematan gambar ke indeks, Anda menggunakan proyeksi indeks. Muatan untuk indexProjections mungkin terlihat seperti contoh berikut. image_content_vector adalah bidang dalam indeks, dan diisi dengan konten yang ditemukan di vektor array normalized_images .

"indexProjections": {
    "selectors": [
        {
            "targetIndexName": "myTargetIndex",
            "parentKeyFieldName": "ParentKey",
            "sourceContext": "/document/normalized_images/*",
            "mappings": [
                {
                    "name": "image_content_vector",
                    "source": "/document/normalized_images/*/vector"
                }
            ]
        }
    ]
}

Baca juga

• Keterampilan bawaan
• Cara menentukan keahlian
• Ekstrak teks dan informasi dari gambar
• Cara menentukan pemetaan bidang output
• Proyeksi Indeks
• Azure API penyematan multimoda Vision