Hızlı Başlangıç: Azure portalında çok modüllü arama

Bu hızlı başlangıçta, çok modüllü aramayı kullanmaya başlamak için Azure portalındaki Verileri içeri aktarma sihirbazını kullanacaksınız. Sihirbaz, hem metinleri hem de resimleri aranabilir bir dizine ayıklama, öbekleme, vektörleştirme ve yükleme işlemini basitleştirir.

Bu hızlı başlangıçta azure-search-sample-data deposundan çok modüllü bir PDF kullanılmaktadır. Ancak, farklı dosyalar kullanabilir ve yine de bu hızlı başlangıcı tamamlayabilirsiniz.

Prerequisites

• Etkin aboneliği olan bir Azure hesabı. Ücretsiz bir hesap oluşturun.

• Azure Yapay Zeka Arama hizmeti. Bu hızlı başlangıç, yönetilen kimlik desteği için Temel katmanı veya üzerini gerektirir.

• Azure Depolama hesabı. Standart performans (genel amaçlı v2) hesabında Azure Blob Depolama veya Azure Data Lake Storage 2. Nesil (hiyerarşik ad alanına sahip depolama hesabı) kullanın. Erişim katmanları sıcak, ılık veya soğuk olabilir.

• Desteklenen bir ayıklama yöntemi.

• Desteklenen bir ekleme yöntemi.

• Sihirbaz hakkında bilgi. Bkz. Azure portalında verileri içeri aktarma sihirbazı.

Desteklenen ayıklama yöntemleri

İçerik ayıklama için, Azure Yapay Zeka Arama aracılığıyla varsayılan ayıklamayı veya Foundry Tools içinde Azure Document Intelligence aracılığıyla gelişmiş ayıklamayı seçin.

¹ Faturalama amacıyla Azure Yapay Zeka Arama beceri kümesine çoklu hizmet hesabınızı eklemelisiniz. Sihirbaz, arama hizmetinizin ve çok hizmetli hesabınızın Belge Düzeni becerisi için desteklenen aynı bölgede olmasını gerektirir.

Desteklenen ekleme yöntemleri

İçerik ekleme için aşağıdaki yöntemlerden birini seçin:

• Görüntü sözelleştirme: Resimlerin doğal dil açıklamalarını oluşturmak için LLM kullanır ve ardından düz metin ve sözlü görüntüleri vektörleştirmek için bir ekleme modeli kullanır.

• Çok modüllü eklemeler: Hem metni hem de resimleri doğrudan vektörleştirmek için bir ekleme modeli kullanır.

Portal her yöntem için aşağıdaki modelleri destekler. Dağıtım yönergeleri sonraki bir bölümde sağlanmıştır.

¹ Faturalama amacıyla Azure Yapay Zeka Arama beceri kümesine çoklu hizmet hesabınızı eklemelisiniz. Sihirbaz, arama hizmetinizin ve çok hizmetli hesabınızın Azure Vision çok modüllü ekleme becerisi (önizleme) için desteklenen aynı bölgede olmasını gerektirir.

² Sihirbaz yalnızca bu model için sunucusuz API dağıtımlarını destekler. Sunucusuz dağıtımı (önizleme) sağlamak için Azure CLI kullanabilirsiniz.

³ Azure OpenAI kaynağınızın uç noktasının özel alt etki alanı, https://my-unique-name.openai.azure.com gibi olması gerekir. Kaynağınızı Azure portalında oluşturduysanız, bu alt etki alanı kaynak kurulumu sırasında otomatik olarak oluşturulur.

^{Microsoft Foundry portalında} oluşturulan 4 Azure OpenAI kaynakları (ekleme modellerine erişimle) desteklenmez. Azure portalında bir Azure OpenAI kaynağı oluşturmanız gerekir.

Kullanımdan kaldırmalar da dahil olmak üzere en güncel model yaşam döngüsü yönergeleri için Modelin kullanımdan kaldırılması ve artık önerilmemesi bölümüne bakın.

Genel uç nokta gereksinimleri

Sihirbazın bunlara erişebilmesi için önceki tüm kaynakların genel erişimi etkinleştirilmiş olmalıdır. Aksi takdirde sihirbaz başarısız olur. Sihirbaz çalıştırıldıktan sonra, güvenlik için tümleştirme bileşenlerinde güvenlik duvarlarını ve özel uç noktaları etkinleştirebilirsiniz. Daha fazla bilgi için bkz. İçeri aktarma sihirbazında güvenli bağlantılar.

Özel uç noktalar zaten mevcutsa ve bunları devre dışı bırakamıyorsanız, alternatif olarak sanal makinedeki bir betik veya programdan ilgili uçtan uca akışı çalıştırmak olabilir. Sanal makine, özel uç noktayla aynı sanal ağda olmalıdır. Tümleştirilmiş vektörleştirme için Python kod örneği. Aynı GitHub deposu diğer programlama dillerinde örneklere sahiptir.

Erişimi yapılandırma

Başlamadan önce içeriğe ve işlemlere erişim izinlerinizin olduğundan emin olun. Bu hızlı başlangıçta kimlik doğrulaması için Microsoft Entra ID ve yetkilendirme için rol tabanlı erişim kullanılır. Rolleri atamak için Sahip veya Kullanıcı Erişimi Yöneticisi olmanız gerekir. Roller uygun değilse bunun yerine anahtar tabanlı kimlik doğrulamayı kullanın.

Bu bölümde tanımlanan gerekli rolleri ve koşullu rolleri yapılandırın.

Gerekli roller

Azure Yapay Zeka Arama ve Azure Depolama tüm çok modüllü arama senaryoları için gereklidir.

Koşullu roller

Aşağıdaki sekmeler, çok modüllü arama için sihirbazla uyumlu kaynakları kapsar. Yalnızca seçtiğiniz ayıklama yöntemi ve ekleme yöntemi için geçerli olan sekmeleri seçin.

Örnek verileri hazırlama

Bu hızlı başlangıçta örnek bir çok modüllü PDF kullanılmıştır, ancak kendi dosyalarınızı da kullanabilirsiniz. Ücretsiz arama hizmeti kullanıyorsanız zenginleştirme işleme için ücretsiz kotanın içinde kalmak için 20'den az dosya kullanın.

Bu hızlı başlangıç için örnek verileri hazırlamak için:

1. Azure portalında Azure Depolama hesabınıza gidin.

2. Sol bölmeden Veri depolama>Kapsayıcıları'nı seçin.

3. Kapsayıcı oluşturun ve sample PDF kapsayıcıya yükleyin.

4. PDF'den ayıklanan görüntüleri depolamak için başka bir kapsayıcı oluşturun.

Modelleri hazırlama

Sihirbaz, içerik ekleme için çeşitli seçenekler sunar. Görüntü sözelleştirmesi, metin ve görüntü içeriğini vektörleştirmek için bir LLM'nin görüntüleri ve ekleme modelini tanımlamasını gerektirirken, doğrudan çok modüllü eklemeler yalnızca bir ekleme modeli gerektirir. Bu modeller Azure OpenAI ve Foundry aracılığıyla kullanılabilir.

Seçtiğiniz ekleme yöntemi için gereken modelleri dağıtmak için bkz. Foundry portalında Microsoft Foundry Modellerini dağıtma.

Sihirbazı başlatma

1. Azure portalında arama hizmetinize gidin.

2. Genel Bakış sayfasında Verileri içeri aktar'ı seçin.

   

3. Veri kaynağınızı seçin: Azure Blob Depolama veya Azure Data Lake Storage 2. Nesil.

   

4. Multimodal RAG'i seçin.

   

Sihirbazı çalıştırma

Sihirbaz birkaç yapılandırma adımında size yol gösterir. Bu bölüm, sırayla her adımı kapsar.

Verilerinize bağlanma

Azure Yapay Zeka Arama, içerik alımı ve dizin oluşturma için bir veri kaynağına bağlantı gerektirir. Bu durumda, veri kaynağı Azure Depolama hesabınızdır.

Verilerinize bağlanmak için:

1. Verilerinize bağlanın sayfasında Azure aboneliğinizi seçin.

2. Örnek verileri karşıya yüklediğiniz depolama hesabını ve kapsayıcıyı seçin.

3. Yönetilen kimlik kullanarak kimlik doğrulaması onay kutusunu seçin. Kimlik türünü Sistem tarafından atanan olarak bırakın.

   

4. sonrakiseçin.

İçeriğinizi ayıklama

Seçtiğiniz ayıklama yöntemine bağlı olarak, sihirbaz belgeyi çatlatma ve öbekleme için yapılandırma seçenekleri sağlar.

İçeriğinizi ekleme

Bu adım sırasında sihirbaz, hem metin hem de görüntülerin vektör gösterimlerini oluşturmak için seçtiğiniz ekleme yöntemini kullanır.

Ayıklanan görüntüleri depolayın

Sonraki adım, belgelerinizden ayıklanan görüntüleri Azure Depolama göndermektir. Azure Yapay Zeka Arama bu ikincil depolama bilgi deposu olarak bilinir.

Ayıklanan görüntüleri depolamak için:

1. Image output sayfasında Azure aboneliğinizi seçin.

2. Görüntüleri depolamak için oluşturduğunuz depolama hesabını ve blob kapsayıcısını seçin.

3. Yönetilen kimlik kullanarak kimlik doğrulaması onay kutusunu seçin. Kimlik türünü Sistem tarafından atanan olarak bırakın.

   

4. sonrakiseçin.

Anlamsal derecelendirme ekleme

Gelişmiş ayarlar sayfasında, isteğe bağlı olarak sorgu yürütmenin sonunda sonuçları yeniden kırpmak için anlamsal derecelendirme ekleyebilirsiniz. Yeniden sıralama, anlamsal olarak en ilgili eşleşmeleri en üste taşır.

Yeni alanları eşleştir

Gelişmiş ayarlar sayfasında, isteğe bağlı olarak dizin şemasına alanlar ekleyebilirsiniz. Varsayılan olarak, sihirbaz aşağıdaki tabloda açıklanan alanları oluşturur.

Oluşturulan alanları veya özniteliklerini değiştiremezsiniz, ancak veri kaynağınız bunları sağlıyorsa alan ekleyebilirsiniz. Örneğin, Azure Blob Depolama bir meta veri alanları koleksiyonu sağlar.

Dizin şemasına alan eklemek için:

1. Dizin alanları'nın altındaÖnizleme ve düzenle'yi seçin.

2. Alan ekle'yi seçin.

3. Kullanılabilir alanlardan bir kaynak alanı seçin, dizin için bir alan adı girin ve varsayılan veri türünü kabul edin (veya geçersiz kılın).

4. Şemayı özgün sürümüne geri yüklemek istiyorsanız Sıfırla'yı seçin.

Bu adımla ilgili önemli noktalar:

• Dizin şeması öbeklenmiş veriler için vektör ve nonvector alanları sağlar.

• Belge ayrıştırma modu öbekler oluşturur (öbek başına bir arama belgesi).

Dizin oluşturmayı zamanlama

Temel alınan verilerin değişken olduğu veri kaynakları için, belirli aralıklarda veya belirli tarih ve saatlerdeki değişiklikleri yakalamak üzere dizin oluşturmayı zamanlayabilirsiniz.

Dizin oluşturmayı zamanlamak için:

1. Gelişmiş ayarlar sayfasındaki Dizin oluşturmayı zamanla'nın altında dizin oluşturucu için bir çalıştırma zamanlaması belirtin. Bu hızlı başlangıç için Bir kez öneririz.

   

2. sonrakiseçin.

Sihirbazı bitir

Son adım, yapılandırmanızı gözden geçirmek ve çok modüllü arama için gerekli nesneleri oluşturmaktır. Gerekirse, yapılandırmanızı ayarlamak için sihirbazdaki önceki sayfalara dönün.

Sihirbazı tamamlamak için:

1. Gözden geçir ve oluştur sayfasında, sihirbazın oluşturacağı nesneler için bir ön ek belirtin. Ortak bir ön ek düzenli kalmanıza yardımcı olur.

   

2. Oluştur'i seçin.

Sihirbaz tarafından oluşturulan nesneler

Sihirbaz yapılandırmayı tamamladığında aşağıdaki nesneleri oluşturur:

Sonuçları kontrol et

Bu hızlı başlangıçta hem metin hem de görüntüler üzerinde karma aramayı destekleyen çok modüllü bir dizin oluşturulur. Doğrudan çok modüllü eklemeler kullanmadığınız sürece dizin, görüntüleri sorgu girişi olarak kabul etmez. Bu işlem, eşdeğer vektörleştirici ile AML becerisi veya Azure Vision çok modüllü ekleme becerisi gerektirir. Daha fazla bilgi için bkz. Arama dizininde vektörleştirici yapılandırma.

Karma arama, tam metin sorgularını ve vektör sorgularını birleştirir. Karma sorgu yayımladığınızda, arama altyapısı sorgunuzla dizine alınan vektörler arasındaki anlamsal benzerliği hesaplar ve sonuçları buna göre sıralar. Bu hızlı başlangıçta oluşturulan dizin için sonuçlar, sorgunuzla yakından uyumlu olan content_text alanından içerik ortaya çıkar.

Çok modüllü dizininizi sorgulamak için:

1. Azure portalında arama hizmetinize gidin.

2. Sol bölmeden Arama yönetimi>Dizinleri'ni seçin.

3. Dizininizi seçin.

4. Sorgu seçenekleri'ni ve ardından Arama sonuçlarında vektör değerlerini gizle'yi seçin. Bu adım sonuçları daha okunabilir hale getirir.

   

5. Aramak istediğiniz metni girin. Örneğimiz energy kullanır.

6. Sorguyu çalıştırmak için Ara'yı seçin.

   

   JSON sonuçları dizininizdeki ile energy ilgili metin ve görüntü içeriğini içermelidir. Anlam derecesini etkinleştirdiyseniz dizi, @search.answers ilgili eşleşmeleri hızla belirlemenize yardımcı olmak için kısa ve yüksek güvenilirlikli semantik yanıtlar sağlar.

   "@search.answers": [
      {
         "key": "a71518188062_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_normalized_images_7",
         "text": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like energy distribution, resource allocation, and environmental monitoring. **Accelerate the development of sustainability solution...",
         "highlights": "A vertical infographic consisting of three sections describing the roles of AI in sustainability:  1. **Measure, predict, and optimize complex systems**: AI facilitates analysis, modeling, and optimization in areas like<em> energy distribution, </em>resource<em> allocation, </em>and environmental monitoring. **Accelerate the development of sustainability solution...",
         "score": 0.9950000047683716
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_5",
         "text": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim  10.5 gigawatts (GW) of renewable energy to the grid.910.5 GWof new renewable energy capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "highlights": "...cross-laminated timber.8 Through an agreement with Brookfield, we aim <em> 10.5 gigawatts (GW) of renewable energy </em>to the<em> grid.910.5 </em>GWof new<em> renewable energy </em>capacity to be developed across the United States and Europe.Play 4 Advance AI policy principles and governance for sustainabilityWe advocated for policies that accelerate grid decarbonization",
         "score": 0.9890000224113464
      },
      {
         "key": "1cb0754930b6_aHR0cHM6Ly9oYWlsZXlzdG9yYWdlLmJsb2IuY29yZS53aW5kb3dzLm5ldC9tdWx0aW1vZGFsLXNlYXJjaC9BY2NlbGVyYXRpbmctU3VzdGFpbmFiaWxpdHktd2l0aC1BSS0yMDI1LnBkZg2_text_sections_50",
         "text": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community Solar MicrogridsDeveloping energy transition programsWe are co-innovating with communities to develop energy transition programs that align their goals with broader s.",
         "highlights": "ForewordAct... Similarly, we have restored degraded stream ecosystems near our datacenters from Racine, Wisconsin120 to Jakarta, Indonesia.117INNOVATION SPOTLIGHTAI-powered Community<em> Solar MicrogridsDeveloping energy transition programsWe </em>are co-innovating with communities to develop<em> energy transition programs </em>that align their goals with broader s.",
          "score": 0.9869999885559082
      }
   ]
   

Kaynakları temizle

Kendi aboneliğinizde çalışırken, artık ihtiyacınız olmayan kaynakları kaldırarak bir projeyi tamamlamak iyi bir fikirdir. Çalışır durumda kalan kaynaklar size pahalıya mal olabilir.

Kaynakları bulmak ve yönetmek için Azure portalında Tüm kaynaklar veya Kaynak grupları seçin. Kaynakları tek tek silebilir veya tüm kaynakları aynı anda kaldırmak için kaynak grubunu silebilirsiniz.

Sonraki adım

Bu hızlı başlangıçta, çok modüllü arama için gerekli tüm nesneleri oluşturan Verileri içeri aktarma sihirbazı tanıtıldı. Her adımı ayrıntılı olarak incelemek için Multimodal öğreticisine bakın.