Saydamlık notu: Azure Yapay Zeka Arama

Yapay zeka zenginleştirme , Döküm Araçları'ndan alınan makine öğrenmesi modellerinin ham biçiminde kolayca aranamayan içerik üzerine uygulanmasıdır. Zenginleştirme aracılığıyla analiz ve çıkarım, daha önce hiç bulunmayan aranabilir içerik ve yapı oluşturmak için kullanılır.

Yapay zeka zenginleştirme, müşterinin arama hizmetiyle aynı bölgedeki Foundry Araçları'na bağlanan Azure Yapay Zeka Arama dizin oluşturucu işlem hattının isteğe bağlı bir uzantısıdır. Zenginleştirme işlem hattı, tipik bir dizin oluşturucuyla (dizin oluşturucu, veri kaynağı, dizin) aynı temel bileşenlere ve atomik zenginleştirme adımlarını belirten bir beceri kümesine sahiptir. Beceri kümesi, Görüntü İşleme ve Dil gibi Döküm Araçları API'lerini temel alan yerleşik beceriler veya sağladığınız dış kodu çalıştıran özel beceriler kullanılarak birleştirilebilir.

Vektör arama, belgelerin ve sorguların düz metin yerine bir dizinde vektör olarak temsil edildiği bilgi alma yöntemidir. Vektör aramasında, Azure Yapay Zeka Arama dışında barındırılan makine öğrenmesi modelleri metin, görüntü, ses veya video içeriği olabilecek kaynak girişlerin vektör gösterimlerini oluşturur. İçeriğin vektör ekleme olarak adlandırılan bu matematiksel ve normalleştirilmiş gösterimi, arama senaryoları için ortak bir temel sağlar.

Her şey bir vektör olduğunda, ilişkili özgün içerik görüntülerle metin veya sorgudan farklı bir dil gibi farklı bir medya türünde olsa bile sorgu vektör alanında bir eşleşme bulabilir. Arama altyapısı, sorgudaki vektöre en çok benzeyen, yani en yakın olan vektör içeriğini bulmak için dizini tarar. Anahtar sözcükler yerine matematiksel vektör gösterimiyle eşleştirme, anlamsal anlamı paylaşan ancak "araba" ve "otomatik" gibi metin olarak ayrı olan eşleşmeleri bulma olasılığını çok daha yüksek hale getirir. Bu, vektör ekleme işlemlerine ve benzerlik algoritmasının nasıl çalıştığına daha ayrıntılı bir giriş sağlar.

Önemli terimler

Anlam dereceleyicisi, özgün sorgunun amacına en yakın olan sonuçları en üste yükselten yeni bir ilgi puanı hesaplamak için sorgunun bağlamını veya anlamsal anlamını kullanır. İlk sonuç kümesi, BM25 derecelendirmesine sahip bir anahtar sözcük aramasından, vektör aramasından veya her ikisini de içeren karma bir aramadan gelebilir. Ayrıca, sonuçta bulunan kelimesi kelimesine içeriği ayıklayarak "altyazılar" oluşturur ve döndürür ve sonuç içindeki önemli içeriğe dikkat çekmek için "vurgular" ekler. Ayrıca, sorgu bir sorunun özelliklerine ("suyun donma noktası nedir") sahipse ve sonuç bir yanıtın özelliklerine sahip metin içeriyorsa ("su 0°C veya 32°F'de donuyor") bir "yanıt" döndürebilir.

Önemli terimler

Sorgu yeniden yazma, BM25 derecelendirmesi, vektör araması veya karma aramanın geri getirme oranını (kullanılabilir toplam belge sayısından alınan ilgili belgelerin oranı) geliştirmek için gerçek müşteri girişinden yapay olarak oluşturulan sorgular düzenleme işlemi yapar. Özgün sorgu, arama altyapısından en iyi geri çağırmayı sağlamak için yapay sorgularla birleştirilir.

GenAI İstemi becerisi, Azure Yapay Zeka Arama beceri kataloğunun bir parçasıdır ve müşterilerin verilerine göre yapay zeka tarafından oluşturulan içerikle arama dizinlerini geliştirmelerine olanak tanır. Bu beceri, müşterinin kuruluşunun kendi verilerini ve tercihlerini kullanarak kendi ihtiyaçlarına uygun özel özetler, yanıtlar veya içgörüler üretmeye yardımcı olur.

Bu, son kullanıcının AI Search aracılığıyla müşterilerin içeriğinde arama yapması durumunda yapay zeka tarafından oluşturulan içeriğin daha bilgilendirici ve bağlama duyarlı sonuçlar sunabileceği ve kullanıcıların aradıkları bilgileri bulmasını kolaylaştırabileceği anlamına gelir.

Önemli terimler

Aracılı alma, konuşma büyük dil modelini (LLM) "sorgu planlayıcısı" olarak kullanan paralel bir sorgu işleme mimarisidir. LLM, kullanıcının konuşma geçmişini gerektiği gibi bir veya birkaç odaklanmış alt sorguya dönüştürür. Bu alt sorgular Azure Yapay Zeka Arama dizininizde aynı anda çalışır ve hizmet en iyi sonuçları birleştirerek şunları döndürür:

• En ilgili bölümleri (topraklama verileri) içeren tek bir içerik dizesi.
• Tam kaynak belgeleri veya öbekleri gösteren (isteğe bağlı) bir başvuru dizisi.
• Maliyet izleme ve hata ayıklamaya yardımcı olmak için her işlemi, belirteç sayısını ve gecikme süresini listeleyen bir etkinlik dizisi.

Önemli terimler

Sistem davranışı

Azure Yapay Zeka Arama'ta yapay zeka zenginleştirmesi için çeşitli yerleşik beceriler, Döküm Araçları'ndan yararlanır. Bir beceriyi kullanmayı seçerken dikkat edilmesi gerekenler için aşağıda bağlantılı her yerleşik beceri için Saydamlık Notları'na bakın:

• Anahtar İfade Ayıklama Becerisi: Dil - Anahtar İfade Ayıklama
• Dil Algılama Yeteneği: Dil - Dil Algılama
• Varlık Bağlama Becerisi: Dil - Varlık Bağlama
• Varlık Tanıma Yeteneği: Dil - Adlandırılmış Varlık Tanıma (NER)
• PII Tespit Etme Becerisi: Dil - PII Tespit Etme
• Yaklaşım Becerisi: Dil - Yaklaşım Analizi
• Görüntü Analizi Becerisi: Görüntü İşleme - Görüntü Analizi
• OCR Becerisi: Görüntü İşleme - OCR
• Belge Düzeni Becerisi: Belge Zekası

İlgili özellikleri, sınırlamaları, performansı, değerlendirmeleri ve tümleştirme ve sorumlu kullanım yöntemleri hakkında daha fazla bilgi edinmek için her becerinin belgelerine bakın. Bu becerileri bir arada kullanmanın birikimli etkilere yol açabileceğini unutmayın (örneğin, OCR kullanılırken meydana gelen hatalar, anahtar ifade ayıklama sırasında da devam edecektir).

Kullanım örnekleri

Örnek kullanım örnekleri

Azure Yapay Zeka Arama tam metin arama çözümü olduğundan yapay zeka zenginleştirmesinin amacı yapılandırılmamış içeriğin arama yardımcı programını geliştirmektir. Yerleşik beceriler tarafından desteklenen içerik zenginleştirme senaryolarına bazı örnekler aşağıda verilmiştir:

• Çeviri ve dil algılama , çok dilli aramayı etkinleştirir.
• Varlık tanıma , büyük metin öbeklerinden kişileri , yerleri ve diğer varlıkları ayıklar.
• Anahtar ifade ayıklama, önemli terimleri tanımlar ve ardından çıktısını verir.
• OCR , ikili dosyalarda yazdırılan ve el yazısı metinleri tanır.
• Görüntü analizi , görüntü içeriğini açıklar ve açıklamaları aranabilir metin alanları olarak verir.
• "Integrated vectorization verileri vektörleştirmek ve benzerlik araması için eklemeleri Azure Yapay Zeka Arama'te depolamak amacıyla Azure OpenAI ekleme modelini çağıran bir önizleme özelliğidir."

Sistem davranışı

Vektör aramasında, arama motoru sorgu vektöre yakın olanları bulmak için dizindeki ekleme alanının içindeki vektörleri arar. Bu teknik en yakın komşu araması olarak adlandırılır. Bu, öğeler arasındaki benzerlik veya uzaklık derecesini de ölçmeye yardımcı olur. Vektör benzerliğinin yüksek bir derecesi, özgün verilerin de benzer olduğunu gösterir. Azure Yapay Zeka Arama tarafından desteklenen iki vektör arama algoritmasının bu sorunla ilgili farklı yaklaşımları vardır ve gecikme süresi, aktarım hızı, geri çağırma ve bellek gibi farklı özelliklerin alım satımı yapılır.

En yakın gerçek "k" komşu kümesini bulmak için giriş vektörünün veri kümesindeki tüm vektörlerle kapsamlı bir şekilde karşılaştırılması gerekir. Her vektör benzerliği hesaplaması görece hızlı olsa da, büyük veri kümelerinde bu kapsamlı karşılaştırmaların gerçekleştirilmesi gereken karşılaştırma sayısının fazla olması nedeniyle hesaplama açısından pahalı ve yavaştır. Ayrıca, her vektörde boyut ne kadar yüksek olursa, her vektördeki hesaplamalar o kadar karmaşık ve yavaş olacaktır.

Bu zorluğu gidermek için, yaklaşık en yakın komşu (ANN) arama yöntemleri, anımsama oranını hız için takas etmek amacıyla kullanılır. Bu yöntemler, sorgu vektörünün benzer olma olasılığı en yüksek olan küçük bir aday vektör kümesini verimli bir şekilde bulabilir ve toplam vektör karşılaştırması sayısını azaltır. Azure Yapay Zeka Arama, yüksek boyutlu veri noktalarını hızlı benzerlik aramasına olanak tanırken arama doğruluğu ile hesaplama maliyeti arasında ayarlanabilir bir denge sağlayan olasılıksal hiyerarşik graf yapısında düzenlemek için Hiyerarşik Gezinilebilir Küçük Dünya (HNSW) algoritmasını kullanır.

Azure Yapay Zeka Arama, her vektör sonucunun en yakın komşusunu ve puanını belirlemek için birden çok benzerlik ölçümünü de destekler. Bunlar kosinüs, "Öklid" ("l2 norm" olarak da bilinir) ve "nokta ürün" olarak da bilinir. Cosine, iki vektör arasındaki açıyı hesaplar. Öklid, iki vektör arasındaki Öklid uzaklığını hesaplar. Bu, iki vektör arasındaki farkın l2 normudur. Nokta ürünü hem vektörlerin büyüklüklerinden hem de aralarındaki açıdan etkilenir. Normalleştirilmiş ekleme alanları için noktalı ürün kosinüs benzerliğine eşdeğerdir ancak daha verimlidir.

Kullanım örnekleri

Örnek kullanım örnekleri

Vektör aramanın yararlı olduğu birçok senaryo vardır ve bunlar yalnızca vektör eklemeleri oluşturmak için kullanılan modelin özellikleriyle sınırlıdır. Vektör aramanın kullanılabildiği bazı genel kullanım örnekleri şunlardır:

• Semantic search: Metinden anlamsal anlama elde etmek için Azure OpenAI Service embeddings modelleri gibi modeller kullanın.
• Farklı veri türlerinde (çok modüllü) arama yapın: Görüntülerden, metinlerden, seslerden ve videolardan veya bir karışımdan gelen içeriği kodlayıp bunların tamamından tek bir arama yapın.
• Çok dilli arama: Desteklenen dillerde sonuçları bulmak için belgenizi birden çok dilde göstermek için çok dilli bir ekleme modeli kullanın.
• Karma arama: Vektör araması alan düzeyinde uygulanır, yani vektör alanları ve aranabilir metin alanları içeren sorgular oluşturabilirsiniz. Sorgular paralel olarak çalıştırılır ve sonuçlar tek bir yanıtta birleştirilir. Anlamsal derecelendirmeye sahip karma arama sonuçlarının en iyi nitel sonuçları sağladığı gösterilmiştir.
• Filtrelenmiş vektör araması: Sorgu, vektör sorgusu ve filtre ifadesi içerebilir. Diğer veri türlerine uygulanan filtreler, diğer ölçütlere göre belgeleri dahil etmek veya dışlamak için yararlıdır.
• Vektör veritabanı: Bu saf vektör deposu uzun süreli bellek veya Büyük Dil Modelleri (LLM) için bir dış bilgi bankası içindir. Örneğin, Azure Yapay Zeka Arama'ü Azure Machine Learning istek akışında Bilgi Alma Artırılmış Üretim (RAG) uygulamaları için vektör dizini olarak kullanın.

Kullanım örneği seçerken dikkat edilmesi gerekenler

Vektör eklemeleri oluşturmak için seçtiğiniz belirli modelle ilgili önemli noktalar ve endişeler olabilir. Her modelin sapma ve eşitlikle ilgili kendi sorunları olabilir ve uygulamanızda kullanılmadan önce değerlendirilmelidir. Azure Yapay Zeka Arama, hizmetin bir parçası olarak içeriği vektörleştirmek için herhangi bir model sağlamaz. Bu konuların örnekleri için bkz. Azure OpenAI Service Saydamlık Notu. Diğer üçüncü taraf veya OSS modellerinin gözden geçirmesi gereken kendi konuları vardır.

Sistem davranışı

İlk katman alma adımının sonuçlarını derecelendirmek, yoğun kaynak gerektiren bir işlemdir. Sorgu işleminin beklenen gecikme süresi içinde dereceleyicinin işlemesini tamamlamak için, yalnızca çıkartma motorunun ilk 50 sonucu giriş olarak anlamsal dereceleyiciye gönderilir. Çok uzunsa, 50 sonuç ilk olarak anlam derecesini çalıştırmadan önce her sonuçtan en uygun içeriği ayıklayan bir özetleme adımına gönderilir.

Özetleme adımında, alınan belge önce farklı belge girişlerini tek bir uzun dizede birleştirir bir hazırlık işleminden geçirilir. Dize çok uzunsa, anlamsal yapılandırmaya eklenen alanlardaki içeriği korumaya özellikle vurgu yapılarak bir kırpma işlemi gerçekleştirilir. Dizeler hazırlandıktan sonra, hangi cümlelerin ve tümceciklerin sorguya göre en iyi özeti sağladığını belirlemek için makine okuma kavrama ve dil gösterimi modellerinden geçirilir. Bu aşama, semantik derecelendirme aşamasına iletilecek dizedeki içeriği ayıklar ve isteğe bağlı olarak semantik bir açıklamalı alt yazı veya anlamsal yanıt verir.

Son adım olan anlamsal derecelendirme, önceki adımda ayıklanan içeriğin kullanıcının sorgusuyla ilgili olup olmadığını belirler ve 4 (yüksek oranda ilgili) ile 0 (ilgisiz) arasında bir anlam derecelendirme puanı çıkarır. Bu adım, sorgu metnini ve özetlenmiş metni temel alır ve alma katmanından daha karmaşık hesaplamalar içerir.

Kullanım örnekleri

Örnek kullanım örnekleri

Anlam dereceleyicisi birden çok senaryoda kullanılabilir. Sistemin hedeflenen kullanım örnekleri şunlardır:

• Retrieval Augmented Generation (RAG): Anlamsal dereceleyici, üretken yapay zeka uygulamalarınızdan gelen yanıtları, belirlediğiniz relevans puanı eşiğine uyan ilgili arama sonuçlarına dayandırmanızı sağlar. Örneğin, verilerinizdeki Azure OpenAI Service, Azure OpenAI modellerini verilerinizle artırmak için Azure Yapay Zeka Arama kullanır. Azure OpenAI modeli için sağlanan bilgilerin uygunluğunu artırmak amacıyla bu hizmette anlamsal sıralayıcıyı kullanabilirsiniz.
• İçerik arama: Anlam dereceleyicisi, metin ve meta verileri analiz ederek verilerinizde ilgili içeriği aramanızı sağlar. Örneğin, learn.microsoft.com web sitesinde arama, Microsoft teknik belgelerini arayan yazılım geliştiricilerinin arama alaka düzeyini artırmak için anlamsal sıralayıcı kullanır.
• e-Ticaret araması: Anlam dereceleyicisi, e-Ticaret işletmelerinin anlamsal ilgiye göre ilgili ürün sonuçları sağlayarak arama deneyimlerini geliştirmelerini sağlar. Örneğin, çevrimiçi perakendeciler, çevrimiçi alışveriş yapanlar için ilgili arama sonuçları sağlayarak e-Ticaret deneyimlerini iyileştirmek için anlam dereceleyici kullanır.
• QnA: Azure Yapay Zeka Arama, kuruluşların veritabanlarında bulunan bilgilere dayanarak soruları yanıtlayarak kullanıcıları için konuşma deneyimi sağlamasına olanak tanır. Örneğin, bir üretici sohbet botu için mevcut bilgileri geliştirmek amacıyla anlamsal sıralayıcıyı kullanabilir. Mühendisler bu sohbet botunu kullanarak sorular sorabilir ve alınan belgelerdeki sorgu ve anlık yanıtlarla ilgili son derece ilgili iç belgeleri alabilir.

Kullanım örneği seçerken dikkat edilmesi gerekenler

Müşterilerin yenilikçi çözümlerinde veya uygulamalarında anlam derecesini kullanmalarını öneririz. Ancak, kullanım örneği seçerken dikkat edilmesi gereken bazı noktalar şunlardır:

• Hassas bilgiler : Anlamsal dereceleyicinin, kişisel ayrıntılar ve finansal bilgiler gibi hassas bilgiler de dahil olmak üzere bir arama sorgusunda alınan verileri işlemesini sağlayan makine öğrenmesi modelleri. Bu tür kullanım örnekleri için anlamsal dereceleyici uygulamadan önce gizlilik ve güvenlik etkilerini göz önünde bulundurun.
• Yanlılık ve eşitlik : Anlam dereceleyicisi derin öğrenme modelleri tarafından desteklenir. Bu derin öğrenme modelleri genel içerik kullanılarak eğitilmiştir. Müşteri verileri anlamsal dereceleyici modellerine göre puanlanır. Kullanım örneklerini seçerken, özellikle adalet ve eşitlikle ilgili etkileri olan, örneğin işe alım ve personel seçimi gibi kullanım örnekleri için, anlamsal dereceleyicinin çıktısını değerlendirin.
• Düzenleme uyumluluğu: Sağlık ve finans gibi bazı sektörler yüksek oranda düzenlenir ve yapay zeka ve makine öğrenmesi kullanımıyla ilgili kısıtlamalara sahip olabilir. Bu tür sektörlerde anlam derecesini kullanmadan önce çözümün ilgili düzenlemelere ve yönergelere uygun olduğundan emin olun.

Sistem davranışı

Özgün sorgu, Azure Yapay Zeka Arama tarafından barındırılan fine ayarlanmış küçük dil modeline (SLM) gönderilir. Bu model genel içerik kullanılarak eğitildi. SLM, özgün sorguyu bir dizi yapay sorguya dönüştürür. Bu yapay sorgular, özgün sorgunun amacına oldukça yakındır ancak arama altyapısından geri çağırmayı iyileştirmek için farklı terimler içerir.

Yapay sorgular daha sonra özgün sorguyla birleştirilir ve arama altyapısına gönderilir. BM25 derecelendirmesi gerçekleştirdiğinde yapay sorgulardan alınan temel terimler özgün sorguyla birleştirilir. Vektör araması gerçekleştirdiğinde, özgün sorgu vektör ekleme adımından önce yapay sorgularla birleştirilir.

Kullanım örnekleri

Örnek kullanım örnekleri

Sorgu yeniden yazma birden çok senaryoda kullanılabilir. Sorgu yeniden yazma semantik dereceleyicinin kullanılmasını gerektirir.

• Verilerinizle sohbet etkileşimi: Sorgu yeniden yazma, oluşturduğunuz ilgili arama sonuçlarında, tanımladığınız İlgi puanı eşiğine uyan üretken yapay zeka uygulamalarınızdan gelen yanıtları temel almanızı sağlar. Örneğin, Azure OpenAI Service On Your Data, Azure OpenAI modellerini verilerinizle zenginleştirmek için Azure Yapay Zeka Arama kullanır. Azure OpenAI modeline beslenen bilgilerin sonuçlarının uygun olduğunu geliştirmek için bu hizmet içinde sorgu yeniden yazma özelliğini kullanabilirsiniz.
• Conversational Questions and Answers (Soru-Cevap): Azure Yapay Zeka Arama, kuruluşların veritabanlarında bulunan bilgilere dayanarak soruları yanıtlayarak kullanıcıları için konuşma deneyimi sağlamalarına olanak tanır. Örneğin, bir üretici sohbet botu için mevcut bilgileri geliştirmek amacıyla anlamsal sıralayıcıyı kullanabilir. Mühendisler bu sohbet botunu kullanarak sorular sorabilir ve alınan belgelerdeki sorgu ve anlık yanıtlarla ilgili son derece ilgili iç belgeleri alabilir.

Kullanım örneği seçerken dikkat edilmesi gerekenler

Müşterilerin yenilikçi çözümlerinde veya uygulamalarında sorgu yeniden yazmayı kullanmalarını öneririz. Ancak, kullanım örneği seçerken dikkat edilmesi gereken bazı noktalar şunlardır:

• Hassas bilgiler ve PII: Sorgunun yeniden yazılmasını sağlayan hassas ayarlanmış SLM, hassas bilgiler içerebilen arama sorgusunu işler. Bu tür kullanım örnekleri için sorgu yeniden yazmayı uygulamadan önce gizlilik ve güvenlik etkilerini göz önünde bulundurun.
• Bilinçsiz önyargıyı azaltmak için kişisel bilgileri yeniden işle. Örneğin, bir şirketin özgeçmiş gözden geçirme işlemi sırasında, arama sırasında bilinçsiz cinsiyeti veya diğer sapmaları azaltmaya yardımcı olmak için adayın adını, adresini veya telefon numarasını engellemek isteyebilir.
• Yasal ve mevzuatla ilgili dikkat edilmesi gerekenler. Kuruluşların yapay zeka araması kullanırken olası belirli yasal ve mevzuat yükümlülüklerini değerlendirmesi gerekir. Bu, her sektörde veya senaryoda kullanıma uygun olmayabilir. Kısıtlamalar bölgesel veya yerel mevzuat gereksinimlerine göre farklılık gösterebilir. Buna ek olarak, AI Search için tasarlanmamıştır ve geçerli hizmet koşullarında ve ilgili kullanım kurallarında yasaklanan şekillerde kullanılamaz.

GenAI İstemi becerisi, müşterilerin veri kaynaklarında var olan belge içeriklerini ve özel istemlerini Microsoft Foundry'de barındırılan sahip oldukları bir dil modeline geçirmesine olanak tanır. Dil modeli girişi işler ve zenginleştirilmiş içeriği döndürür. Bu içerik daha sonra özgün belge içeriğiyle birlikte arama dizinine alınır. Bu işlem yapay zeka tarafından oluşturulan özetler, resim yazıları ve varlık ayıklama ile arama dizinlerinin müşteri tanımlı ölçütlere göre genişletilmesine olanak tanır.

Aşağıdaki örneklerde GenAI prompt becerisinin nasıl çalıştığı gösterilmektedir.

Sıfırdan talep özetleme

Hedef: Destek aracılarının çok sayfalı e-posta yazışmalarını saniyeler içinde atmasına izin verin.

Nasıl çalışır:

• Dizin oluşturma sırasında, her uzun bilet konuşması mantıksal bölümlere (ilk istek, takip soruları, tanılama günlükleri vb.) bölünür.
• Her segment için dil modeline "bu bölümü üç net cümlede özetleme" talimatı verilir.
• Elde edilen özetler erişim sürecinde ham metnin yerini alır, böylece aracılar ve aşağı akış RAG işlem hatları sadece damıtılmış özü görür.

Neden yardımcı olur: Kısa, segment düzeyinde özetler istem boyutunu küçültür, yanıt oluşturmayı hızlandırır ve aracıların müşterinin temel sorununa odaklanmalarına yardımcı olur.

Az örnekli varlık çıkarımı

Hedef: "Product X'in 500 hatasıyla kilitlendiği tüm biletleri göster" gibi sorguları desteklemek.

Nasıl çalışır?

• Tam bilet metni, istenen çıkış formatını (ürün adı, hata kodu, işletim sistemi ve önem derecesi gibi anahtar varlıkların listesi) gösteren bir örnek çalışma ile birlikte beceriye gönderilir.
• Model, her bir "ürün", "hata kodu", "platform" ve "önem seviyesi" oluşumunu ayıklar.
• Bu yapılandırılmış liste belgeyle birlikte depolanır ve örneğin iOS'ta tüm yüksek önem derecesine sahip çökme olaylarını görüntüleyen anlık filtreleri etkinleştirir.

Neden yardımcı olur: Önceden derlenmiş varlıklar, serbest biçimli müşteri iletilerini filtrelenebilir verilere dönüştürerek destek müşteri adaylarının el ile ayrıştırmadan desenleri belirlemesini ve düzeltmeleri önceliklendirmesini sağlar.

Tek seferlik bilet yönlendirme sınıflandırması

Hedef: Her bileti otomatik olarak doğru kuyruğa yönlendirin.

Nasıl çalışır:

• Her bilet, beş destek kategorisinin (Faturalama, Teknik Sorun, Hesap Erişimi, Özellik İsteği ve Genel Geri Bildirim) yanı sıra bir başvuru örneğini ("Faturalama → örnek bilet") listeleyen bir istemle analiz edilir.
• Model, her biletin AI Search sistemine girdiği anda yukarıdaki beş destek kategorisine dayanarak tam olarak bir etiket atamalıdır.
• Yardım masası sistemi, fatura sorgularını finans uzmanlarına, teknik kilitlenmeleri mühendislere vb. yönlendirmek için etiket kullanarak çalışır.

Neden yardımcı olur: Hızlı ve tutarlı etiketleme biletlerin yanlış yönlendirilmesini azaltır, çözüm süresini kısaltır ve müşteri memnuniyetini artırır.

Düşünce zinciri çözüm önerisi

Hedef: Sorunu çözmek için destek temsilcilerine en iyi tek sonraki adımı sağlayın.

Nasıl çalışır?

• Biletin tamamı (veya en son müşteri iletisi) dil modeline geçirilir.
• Kullanıcı iletisi, sistem isteminden sonra modele şu komutu iletir: "Dahili olarak adım adım düşünün, ancak yalnızca önerilen sonraki eylemin çıktısını verin."
• Döndürülen kılavuz şöyle olabilir: "Müşteriden önbelleği temizlemesini ve 3.2.1 sürümünü yeniden yüklemesini isteyin."
• Aracılar öneriyi doğrudan kopyalayabilir veya yanıtlamadan önce düzenleyebilir.

Neden yardımcı olur: Aracılar modelin özel akıl yürütme zinciri olmadan eyleme dönüştürülebilir bir öneri alır ve sorun giderme adımlarını kısa ve ilgili tutarken zaman kazandırır. Bazı durumlarda, destek temsilcisi gereksiz bilgilerin altında kalmaz.

Kullanım örnekleri

Örnek kullanım örnekleri

GenAI Prompt özelliği, Azure Yapay Zeka Arama içinde veri zenginleştirmeyi geliştirerek, yanıtların uygunluğunu kullanıcıların amacı ve beklentileri doğrultusunda artırır. Yapay zeka tarafından oluşturulan içeriği arama dizinlerine tümleştirerek, bu beceri daha doğru ve bağlamsal olarak uygun arama sonuçları sağlar. Önemli uygulamalar şunlardır:

• Daha hızlı bilgi almayı kolaylaştırmak için uzun belgelerin kısa özetlerini oluşturma: Bir hukuk firması kapsamlı sözleşmeler işler ve GenAI prompt becerisini kullanarak önemli maddeleri vurgulayan kısa özetler oluşturur ve avukatların tüm belgeleri okumadan temel bilgileri gözden geçirmesini kolaylaştırır.
• Aranabilirliği ve erişilebilirliği geliştirmek için resimler için metinsel açıklamalar oluşturma: Bir medya şirketi geniş bir görüntü kitaplığını yönetir. GenAI prompt becerisini uygulayarak, her görüntü için açıklayıcı açıklamalı alt yazılar oluşturur ve dijital varlık yönetim sistemi içinde verimli arama ve düzenleme sağlar.
• Özel ölçütlere göre belgelerden belirli varlıkları veya olguları tanımlama ve ayıklama: Bir araştırma kurumu, kimyasal bileşiklerden ve bunların özelliklerinden bahsedenleri ayıklamak için bilimsel makaleleri analiz eder. GenAI prompt becerisi, araştırmacıların ilgili verilere hızlı bir şekilde erişmesi için yapılandırılmış bir veritabanı doldurarak bu ayıklamayı otomatikleştirir.
• Daha iyi düzenleme ve alma için belgeleri tanımlanmış kategorilere sınıflandırma: Bir sigorta şirketi her gün çok sayıda belge türü alır. GenAI İstemi becerisini kullanarak, bu belgeleri otomatik olarak Talepler, İlke Güncelleştirmeleri ve Müşteri Geri Bildirimi gibi kategorilere ayırır. Bu, belge yönetimi sürecini kolaylaştırır ve gerektiğinde belirli belgeleri bulmayı kolaylaştırır.

Bunlar yaygın uygulamalar olsa da, beceri esnektir ve müşterilerin benzersiz gereksinimlerine göre uyarlanmış istemler tanımlamasına olanak tanır.

Kullanım örneği seçerken dikkat edilmesi gerekenler

İçeriğin, istemlerin ve dil modeli dağıtımlarının tamamen müşteri tarafından yönetilen kaynaklar olduğunu unutmayın. Dökümhane, model dağıtımları için içerik güvenliği filtrelerini destekler ve müşteriler gerektiğinde bu filtreleri yapılandırmakla sorumludur. Foundry'de sağlanan yapılandırmaların ötesinde, Azure Yapay Zeka Arama GenAI prompt becerisi içinde ek içerik güvenliği filtreleri uygulamaz.

GenAI İstemi özelliğini uygularken aşağıdakileri göz önünde bulundurun:

• Özellikle bilgi güvenilirliğini etkileyebilecek istem dönüştürmeleri uygularken yapay zeka tarafından oluşturulan içeriğin insan tarafından gözden geçirilmesine yönelik süreçler uygulayın. Tam ölçekli dağıtımdan önce örnek belgelerdeki istemleri test etmek için Azure Yapay Zeka Arama debug oturumları aracını kullanın.
• Sistemin kullanımının veya kötüye kullanımının bir bireyde önemli fiziksel veya psikolojik yaralanmalara neden olabileceği senaryolardan kaçının. Örneğin, hastaları tanılayan veya ilaç reçete eden senaryolar önemli zararlara neden olabilir. Senaryoya anlamlı bir insan incelemesi ve gözetim eklemek, zararlı sonuçlar riskini azaltmaya yardımcı olabilir.
• Tüm üretken kullanım örneklerini dikkatle göz önünde bulundurun. İçerik oluşturma senaryolarının istenmeyen çıkışlar üretme olasılığı daha yüksek olabilir ve bu senaryolar dikkatli bir değerlendirme ve risk azaltma gerektirir.
• Yasal ve mevzuatla ilgili dikkat edilmesi gerekenler. Kuruluşların yapay zeka araması kullanırken olası belirli yasal ve mevzuat yükümlülüklerini değerlendirmesi gerekir. Bu, her sektörde veya senaryoda kullanıma uygun olmayabilir. Kısıtlamalar bölgesel veya yerel mevzuat gereksinimlerine göre farklılık gösterebilir. Buna ek olarak, AI Search için tasarlanmamıştır ve geçerli hizmet koşullarında ve ilgili kullanım kurallarında yasaklanan şekillerde kullanılamaz.

Sistem davranışı

Özgün konuşma veya arama sorgusu, sorgu planlama adımlarını yürütmek için müşterinin sahip olduğu Azure OpenAI modeline gönderilir. Sorgu planlama, konuşmayı düzeltilmiş yazım ve genişletilmiş eş anlamlılarla kullanıcının temel amacını yansıtan iyileştirilmiş bir alt sorgu dizisine böler. Azure Yapay Zeka Arama sonra tüm alt sorguları tam arama alma sistemi genelinde aynı anda işler. Alt sorgular ilk olarak anahtar sözcük arama ve vektör aramasının karma bileşimiyle işlenir. Anahtar sözcük araması, arama dizininde alt sorgulara benzer anahtar sözcükler içeren belgeleri bulur. Vektör araması, arama dizininde farklı anahtar sözcüklere sahip olabilecek ancak alt sorgulara benzer temel alınan belgeleri bulur. Daha sonra bu karma aramanın sonuçları, alt sorgunun amacına en uygun belgeleri bulmak için semantik derecelendirici tarafından yeniden sıralanır. Daha sonra hizmet, son yanıtı geri göndermeden önce maksimum çıkış uzunluğu gibi yanıt sınırları uygulayarak dereceli sonuçlarda yinelenenleri birleştirir ve kaldırır.

Kullanım örnekleri

Örnek kullanım örnekleri

• Özel sohbet botları için temel veriler. Sohbet botunu şirketin resmi İk ilkelerine ve çalışan el kitabına bağlayın, böylece birisi "Kaç tatil günü alabilirim?" sorusunu sorduğunda sohbet botu yanıtı tahmin etmek yerine doğrudan bu belgelerden çeker.
• Kurumsal bilgi yardımcılarını kullanıcı bağlamına, filtrelere ve sohbet geçmişine göre donatın. Örneğin, bir çalışan belirli bir dönemin hedeflerini sorduğunda, yardımcı kişiselleştirilmiş bir yanıt oluşturmak için rolünü, geçerli filtreleri (örneğin, bölge: ABD) ve devam eden konuşmayı (örneğin, son konu "Q2 işlem hattı") kullanır.
• Tek bir anahtar sözcük sorgusunda geri çekmenin düşük olduğu karmaşık bilgi arama görevleriyle başa çık. Bu tür görevler sorun giderme kılavuzlarını, tıbbi literatür araştırmalarını veya ürün karşılaştırmalarını içerebilir. Örneğin, bir teknisyen yalnızca "cihaz hatası" araması yapıp genel sonuçlar alıyorsa, aracı bir retriever konuşma geçmişinin tamamında cihaz modelini, yazılım sürümünü, bakım geçmişini ve ağ durumunu dikkate alıp hassas, ilgili makaleleri ortaya çıkarabilmesini sağlayabilir.
• Nelerin, neden ve ne maliyetle alındığına tam saydamlık sağlayın. Örneğin, mevzuat belgelerini ve geçmiş denetim bulgularını özetlerken, tam kaynakları (örneğin, "2023 2. Çeyrek SEC dosyalama"), seçim rasyonalitesini (örneğin, "eşleşen anahtar kelimeler: risk açıklaması, türevler") ve ilişkili maliyetleri (örneğin, token kullanımı) bilmek kritik önem taşır.

Kullanım örneği seçerken dikkat edilmesi gerekenler

• Gecikme süresi: Sorgu planlaması için ikinci bir LLM çağrısı eklemek, isteğin gidiş dönüş süresini kaçınılmaz olarak uzatır. Hızlı modellerde bile yoğun trafik altındaki ek gecikmeyi karşılaştırmalı ve genel deneyimin kullanıcılarınız için kabul edilebilir olmaya devam ettiğini doğrulamanız gerekir. Gecikme süresinin kritik olduğu durumlarda sık sorguları önbelleğe almayı veya daha küçük, daha hızlı planlama modelleri kullanmayı göz önünde bulundurun.
• Maliyet: Ücretler iki boyutta tahakkuk eder: OpenAI model belirteçleri ve Arama derecelendirme belirteçleri. Sorgu planlayıcısı çağrısı hem giriş hem de çıkış belirteçleri için Azure OpenAI tarafından faturalandırılırken, her alt sorgu, derecelendirmesi gereken belirteçler için Azure Yapay Zeka Arama tarafından faturalandırılır. Derecelendirme belirteçleri genel önizlemenin ilk aşamasında ücretsizdir. İş yükünüz için önceden hem model hem de derecelendirme belirteci numaralarını tahmin edin.
• Hassas girişler: Konuşma geçmişinin tamamı planlayıcı modeline iletilir, yani kişisel veya iş açısından hassas veriler anında güven sınırınızdan çıkar. LLM'yi çağırmadan önce bu tür verileri çıkarma, maskeleme veya düzenleme işlemlerini uygulayın ve bu risk azaltma önlemlerini veri koruma duruşunuzda belgeleyin.
• Bölge ve önizleme sınırları: Aracı alma yalnızca semantik dereceleyicinin kullanılabildiği bölgelerde kullanılabilir. Her bir bireysel ajan yalnızca bir Arama dizinine işaret edebilir. Verilerinizi ve modelinizi barındıran bölgenin aracılı almayı desteklediğini onaylayın ve birden çok dizine veya coğrafyaya yayılmanız gerekiyorsa ayrı aracılar planlayın.
• Uyumluluk: LLM temelli sorgu planlayıcısı kullanmanın sektöre özgü veya bölgesel gereksinimlere (örneğin, veri yerleşimi, gizlilik veya sağlık veya finans alanında otomatik karar kuralları) uygun olduğunu onaylayın. Yeterli insan gözetimi ve denetimi sağlayın. Geliştiricilerin eylemleri zamanında doğrulamalarına, gözden geçirmelerine ve/veya onaylamalarına yardımcı olacak denetimler eklemeyi göz önünde bulundurun. Bu denetimler, planlanan görevleri veya dış veri kaynaklarına yapılan çağrıları gözden geçirmeyi içerebilir.
• Yasal ve mevzuatla ilgili dikkat edilmesi gerekenler: Kullanıcıların, her sektörde veya senaryoda kullanıma uygun olmayan Döküm Araçları ve çözümleri kullanırken olası belirli yasal ve mevzuat yükümlülüklerini değerlendirmesi gerekir. Buna ek olarak, DökümHane Araçları veya çözümleri için tasarlanmamıştır ve geçerli hizmet koşullarında ve ilgili kullanım kurallarında yasaklanan şekillerde kullanılamaz.

Azure Yapay Zeka Arama'da yapay zeka zenginleştirmesi, içerik zenginleştirmeyi gerçekleştirmek üzere Döküm Araçları'nı çağırmak için hizmetin dizin oluşturucu ve veri kaynağı özelliklerini kullanır. Bu işlemde kullanılan dizin oluşturucuların ve veri kaynaklarının sınırlamaları geçerli olacaktır. Bu ilgili sınırlamalar hakkında daha fazla bilgi için dizin oluşturucu ve veri kaynağı belgelerini gözden geçirin. Azure Yapay Zeka Arama'de yapay zeka zenginleştirme işlem hattı tarafından kullanılan her Foundry Aracı'nın sınırlamaları da geçerli olacak. Bu sınırlamalar hakkında daha fazla bilgi için her hizmetin saydamlık notlarına bakın.

Teknik sınırlamalar, operasyonel faktörler ve aralıklar

Azure Yapay Zeka Arama'a yüklenen tüm vektörler, seçtiğiniz bir model kullanılarak hizmet dışından oluşturulmalıdır. Her modelin teknik sınırlamalarını ve çalışma faktörlerini ve oluşturduğu eklemelerin kullanım örneğiniz için iyileştirilmiş veya hatta uygun olup olmadığını göz önünde bulundurmak sizin sorumluluğunuzdadır. Buna hem içerikten ayıklanan anlam çıkarımları hem de vektör ekleme alanının boyutsallığı dahildir.

Vektörleştirme modeli, bir uygulamanın sonuçta elde edilen son kullanıcı arama deneyimini tanımlayan bir ekleme alanı oluşturur. Modelin istenen kullanım örneğine uygun olmaması veya oluşturulan eklemelerin kötü şekilde iyileştirilmiş olması durumunda modelin hem işlevselliğini hem de performansını olumsuz yönde etkileyen dezavantajları olabilir.

Vektör aramasının birçok sınırlaması ekleme oluşturmak için kullanılan modelden kaynaklanıyor olsa da, sorgu zamanında dikkate almanız gereken bazı ek seçenekler vardır. Vektör arama sonuçlarının ilgi düzeyini belirlemek için iki algoritma arasından seçim yapabilirsiniz: Tükenmez k-en yakın komşu (KNN) veya Hiyerarşik Gezinilebilir Küçük Dünya. Tüm veri noktaları arasındaki uzaklıkları hesaplayarak, sorgu noktasının en yakın k komşularını tam olarak bulmak için vektör uzayında sorguya en benzeyen eşleşmeler için kapsamlı bir arama yapar. Daha hassas olsa da, bu algoritma yavaş olabilir. Birincil hedef düşük gecikme süresiyse Hiyerarşik Gezinilebilir Küçük Dünya (HNSW) algoritmasını kullanmayı göz önünde bulundurun. HNSW, yüksek boyutlu ekleme alanlarında verimli bir yaklaşık en yakın komşu (ANN) araması gerçekleştirir. Bu seçenekler hakkında daha fazla bilgi için vektör arama belgelerine bakın.

Sistem performansını geliştirmek için en iyi yöntemler

• Uygulamanızı desteklemesini beklediğiniz farklı içerik ve sorgu türleriyle test etmek için A/B'ye zaman ayırın. İhtiyaçlarınıza en uygun sorgu deneyimini öğrenin.
• Birçok durumda nasıl davrandığını anlamak için modellerinizi tam kapsamlı giriş içeriğiyle test etmeye zaman ayırın. Bu içerik, modelde herhangi bir sapma olup olmadığını anlamak için hassas olabilecek girişler içerebilir. Azure OpenAI Sorumlu Yapay Zeka genel bakış, yapay zekayı sorumlu bir şekilde kullanma konusunda rehberlik sağlar.
• Uygulama mimarinize Azure Yapay Zeka İçerik Güvenliği eklemeyi göz önünde bulundurun. Uygulamalar ve hizmetlerdeki zararlı kullanıcı tarafından oluşturulan ve yapay zeka tarafından oluşturulan metinleri veya görüntüleri algılamaya yönelik bir API içerir.

Kullanımınız için vektör aramasını değerlendirme ve tümleştirme

En iyi performansı sağlamak için vektör aramasını kullanarak uygulamayı planladığınız çözümlerin kendi değerlendirmelerini gerçekleştirin. Şu değerlendirme sürecini izleyin: (1) sonuçları değerlendirmek için bazı iç paydaşları kullanır, (2) vektör aramasını kullanıcılara dağıtmak için A/B denemesi kullanır, (3) hizmet deneyimlerde ilk kez dağıtıldığında ana performans göstergelerini (KPI'ler) ve ölçüm izlemeyi içerir ve (4) anlamsal dereceleyici yapılandırmasını ve/veya dizin tanımını test eder ve ayarlar, kullanıcı arabirimi yerleşimi veya iş süreçleri gibi çevre deneyimler dahil.

Microsoft, döndürülen sonuçların hızını, ölçeklenebilirliğini ve doğruluğunu ölçmek için çeşitli veri kümelerini kullanarak vektör aramasını hem gecikme süresi hem de geri çekme ve ilgi açısından titizlikle değerlendirmiştir. Değerlendirme çalışmalarınızın birincil odağı, belirli kullanım örneğiniz için uygun modeli seçmek, modelin sınırlamalarını ve yanlılıklarını anlamak ve uçtan uca vektör arama deneyimini sıkı bir şekilde test etmek olmalıdır.

Teknik sınırlamalar, operasyonel faktörler ve aralıklar

Anlamsal sonuçların, açıklamalı alt yazıların ve yanıtların doğru görünmeyebileceği durumlar olabilir. Anlam dereceleyicisi tarafından kullanılan modeller çeşitli veri kaynakları (açık kaynak ve Microsoft Bing corpus seçimleri dahil) üzerinde eğitilir. Anlam dereceleyicisi çok çeşitli dilleri destekler ve kullanıcı sorgularını arama sonuçlarınızdaki içerikle eşleştirmeye çalışır. Anlamsal sıralayıcı, uçtan uca çözümünüzün toplam maliyetini hesaplarken dikkate alınması gereken, ilave bir maliyetle sunulan premium bir özelliktir.

Anlam dereceleyicisi, büyük olasılıkla makaleler ve açıklamalar gibi anlam bakımından zengin içeriklere olan ilgi düzeyini artırır. Terimler arasındaki bağlamı ve ilişkiyi göz önünde bulundurarak, sorguya daha anlamlı gelen eşleşmeleri ön plana çıkarmaya çalışır. Dil anlama, içeriğinizdeki özetlemeleri veya açıklamalı alt yazıları ve yanıtları "bulur", ancak Azure OpenAI Service modelleri GPT-3.5 veya GPT-4 gibi üretici modellerden farklı olarak bunları oluşturmaz. Yanıta yalnızca kaynak belgelerden ayrıntılı metin eklenir ve daha verimli bir arama deneyimi için arama sonuçları sayfasında işlenebilir.

Özetleme ve derecelendirme için son derece yeni, önceden eğitilmiş modeller kullanılır. Kullanıcıların aramadan beklediği hızlı performansı korumak için, varsayılan puanlama algoritması tarafından puanlanan yalnızca ilk 50 sonucta anlamsal özetleme ve derecelendirme uygulanır. Girişler, arama sonucundaki içerikten türetilir. Arama belgesindeki sorgu yanıtında döndürülmeyen diğer alanlara erişmek için arama dizinine geri ulaşamaz. Girişler 8.960 belirteç uzunluğuna tabidir. Bu sınırlar, milisaniye yanıt sürelerini korumak için gereklidir.

Varsayılan puanlama algoritması Bing ve Microsoft Research'ten alınır ve eklenti özelliği olarak Azure Yapay Zeka Arama altyapısıyla tümleştirilir. Modeller dahili olarak kullanılır, geliştiriciye sunulmaz ve yapılandırılamaz. Semantik ranker destekli araştırma ve yapay zeka yatırımları hakkında daha fazla bilgi için bkz. Bing'den yapay zeka Azure Yapay Zeka Arama nasıl güçlendiriyor (Microsoft Araştırma Blogu).

Anlam dereceleyicisi yanıt içinde yanıtlar, açıklamalı alt yazılar ve vurgulama da sunar. Örneğin, model sorguyu soru olarak sınıflandırırsa ve yanıta% 70 eminse model anlamsal bir yanıt döndürür. Buna ek olarak, anlam resim yazıları sonuçlardaki en uygun içeriği sağlar ve bu kod parçacığındaki en ilgili sözcükleri veya tümcecikleri vurgulayan kısa bir kod parçacığı sağlar.

Anlam dereceleyici sonuçları, temel alınan arama dizinindeki verileri temel alır ve modeller dizinden alınan bilgilere göre ilgi derecelendirmesi, yanıtlar ve açıklamalı alt yazılar sağlar. Bir üretim ortamında anlam dereceleyici kullanmadan önce, daha fazla test yapmak ve veri kümesinin hedeflenen kullanım örneğine uygun ve doğru olduğundan emin olmak önemlidir. Anlam derecesini değerlendirme hakkında daha fazla bilgi ve örnek için buradaki içeriğe ve eke bakın.

Sistem performansı

Birçok yapay zeka sisteminde performans genellikle doğrulukla ilgili olarak tanımlanır; yani yapay zeka sisteminin doğru tahmin veya çıkış sunma sıklığı. Büyük ölçekli doğal dil modellerinde, iki farklı kullanıcı aynı çıkışa bakabilir ve ne kadar yararlı veya ilgili olduğuna ilişkin farklı görüşlere sahip olabilir, bu da bu sistemler için performansın daha esnek bir şekilde tanımlanması gerektiği anlamına gelir. Burada performansı, uygulamanın sizin ve kullanıcılarınızın beklediği gibi performans göstermesini(zararlı çıkışlar oluşturmamak dahil) olarak ele alıyoruz.

Anlam dereceleyicisi genel içerik üzerinde eğitildi. Sonuç olarak, anlamsal ilgi, dizindeki belgelere ve buna karşı verilen sorgulara göre değişir. Bu içeriği karar vermek için kullanırken kendi yargı ve araştırmanızı kullanmanız önemlidir.

Sistem performansını geliştirmek için en iyi yöntemler

• A/B'ye zaman ayırıp uygulamanızı anahtar sözcük ve karma artı anlam dereceleyicisi gibi farklı sorgu türleriyle test edin. İhtiyaçlarınıza en uygun sorgu deneyimini öğrenin.
• Anlamsal yapılandırmanızı özellik belgelerine uygun olarak ayarlamak için makul bir çaba harcayın.
• Arama dizinindeki bilgilerin doğruluğuna güvenmiyorsanız anlamsal yanıtlara güvenmeyin.
• Kısa bir kod parçacığında en ilgili yanıtları tahmin eden bir dizi model aracılığıyla müşteri içeriğinden ayıklandığından, anlamsal açıklamalı alt yazılara her zaman güvenmeyin.

Anlam dereceleyicisinin değerlendirilmesi

Değerlendirme yöntemleri

Semantik dereceleyici, birden çok veri kümesi üzerinde otomatik ve insan yargısı ve iç müşterilerden gelen geri bildirimler de dahil olmak üzere iç testlerle değerlendirildi. Test, belgelerin ilgili olarak puanlanması veya ilgili olmamasının yanı sıra belgeleri öncelik sırasına göre derecelendirmeyi içerir. Benzer şekilde, açıklamalı alt yazılar ve yanıtlar işlevi de iç test yoluyla derecelendi.

Değerlendirme sonuçları

Tüm model güncelleştirmelerini regresyonsuz olarak göndermeye çalışıyoruz (yani güncelleştirilmiş model yalnızca geçerli üretim modelini geliştirmelidir). Her aday, değerlendirilen özelliğe uygun ölçümler kullanılarak doğrudan geçerli üretim modeliyle karşılaştırılır (örneğin, derecelendirme için Normalleştirilmiş İndirimli Kümülatif Kazanç ve yanıtlar için duyarlık/geri çağırma). Anlam dereceleyici modelleri, en geniş arama senaryolarını desteklemek için farklı özelliklere (dil, uzunluk, biçimlendirme, stiller ve tonlar) sahip belgelerin temsili olan çok çeşitli eğitim verileri kullanılarak eğitilir, ayarlanır ve değerlendirilir. Eğitim ve test verilerimiz şunlardan alınıyor:

Belge kaynakları:

• Akademik ve sektör karşılaştırmaları
• Müşteri verileri (yalnızca test, müşteri izniyle gerçekleştirilir)
• Yapay veriler

Sorgu kaynakları:

• Karşılaştırma sorgusu kümeleri
• Müşteri tarafından sağlanan sorgu kümeleri (yalnızca test, müşteri izniyle gerçekleştirilir)
• Yapay sorgu kümeleri
• İnsan tarafından oluşturulan sorgu kümeleri

Puanlama sorgusu ve belge çiftleri için etiket kaynakları:

• Akademik ve sektör karşılaştırma etiketleri
• Müşteri etiketleri (yalnızca test, müşteri izniyle gerçekleştirilir)
• Yapay veri etiketleri
• İnsan tarafından değerlendirilmiş etiketler

Kullanımınız için semantik sıralayıcıyı değerlendirme ve entegrasyonu

Semantik dereceleyicinin performansı, gerçek dünya kullanımlarına ve insanların kullandığı koşullara bağlı olarak değişir. Anlamsal dereceleyici özellikleri destekleyen derin öğrenme modelleri aracılığıyla sağlanan ilginin kalitesi, arama dizininizin veri kalitesiyle doğrudan ilişkilendirilir. Örneğin, modellerin şu anda anlamsal yanıtlar için yalnızca ilk 8.960 belirteci dikkate alan belirteç sınırlamaları vardır. Bu nedenle, arama sorgusunun anlamsal yanıtı uzun bir belgenin sonuna doğru bulunursa (8.960 belirteç sınırının ötesinde), yanıt sağlanmaz. Aynı kural resim yazıları için de geçerlidir. Ayrıca anlamsal yapılandırma, ilgili arama alanlarını öncelik sırasına göre listeler. İlgiyi ihtiyaçlarınıza daha iyi uyacak şekilde uyarlamaya yardımcı olmak için bu listedeki alanları yeniden sıralayabilirsiniz.

Müşterilerin senaryolarında en iyi performansı elde etmek için semantik dereceyi kullanarak uyguladıkları çözümlerle ilgili kendi değerlendirmelerini gerçekleştirmeleri gerekir. Müşteriler genel olarak şu değerlendirme sürecini izlemelidir: (1) sonuçları değerlendirmek için bazı iç paydaşları kullanır, (2) kullanıcılara anlamsal derecelendiriciyi dağıtmak için A/B denemesi kullanır, (3) hizmet deneyimlerde ilk kez dağıtıldığında KPI'leri ve ölçüm izlemeyi içerir ve (4) anlamsal dereceleyici yapılandırmasını ve/veya dizin tanımını test eder ve ayarlar, kullanıcı arabirimi yerleşimi veya iş süreçleri gibi çevre deneyimler dahil.

Sağlık, insan kaynakları, eğitim veya hukuk alanı gibi yüksek riskli bir alanda veya sektörde uygulama geliştiriyorsanız, uygulamanın senaryonuzda ne kadar iyi çalıştığını değerlendirin, güçlü insan gözetimi uygulayın, kullanıcıların uygulamanın sınırlamalarını ne kadar iyi anladığını değerlendirin ve tüm ilgili yasalara uyun. Senaryonuza göre diğer azaltmaları göz önünde bulundurun.

Teknik sınırlamalar, operasyonel faktörler ve aralıklar

Yapay sorguların yanlış olduğu, çok fazla kısıtlamayla birlikte geldiği veya çok pahalı olduğu durumlar olabilir. Sorgu yeniden yazma , çok çeşitli dilleri destekler ve geri çekmeyi en üst düzeye çıkarmak için kullanıcı sorgularını yeniden yazmaya çalışır; sorgu dilini giriş olarak belirtmek gerekir. Sorgu yeniden yazma, ek maliyete sahip premium bir özellik olan Anlam Dereceleyicisi'nin (arama ilgi düzeyini artırmak için Azure Yapay Zeka Arama özelliği) bir parçasıdır. Bu, uçtan uca çözümünüzün genel giderlerini yansıtırken dikkate alınmalıdır. Sorgu yeniden yazma yalnızca semantik dereceleyici etkinleştirildiyse kullanılabilir.

Üretim ortamında (uygulamanızın canlı sürümü) sorgu yeniden yazma özelliğini kullanmadan önce daha fazla test yapmak ve yapay sorguların hedeflenen kullanım örneğine uygun olduğundan emin olmak önemlidir. Sorgu yeniden yazmayı değerlendirme hakkında daha fazla bilgi ve örnek için buradaki içeriğe ve eke bakın.

Sistem performansı

Büyük ölçekli doğal dil modellerinde, iki farklı kullanıcı aynı çıkışa bakabilir ve ne kadar yararlı veya ilgili olduğuna ilişkin farklı görüşlere sahip olabilir, bu da bu sistemler için performansın daha esnek bir şekilde tanımlanması gerektiği anlamına gelir. Burada performansı, uygulamanın sizin ve kullanıcılarınızın beklediği gibi performans göstermesini(zararlı çıkışlar oluşturmamak dahil) olarak ele alıyoruz.

Sorgu yeniden yazmanın performansı, gerçek dünya kullanımlarına ve kullanıcıların kullandığı koşullara bağlı olarak değişir. Sorgu yeniden yazma modeli tarafından sağlanan yapay sorguların kalitesi doğrudan özgün arama sorgusuyla ilişkilendirilir.

Müşterilerin senaryolarında en iyi performansı elde etmek için, sorgu yeniden yazmayı kullanarak uyguladıkları çözümlerle ilgili kendi değerlendirmelerini gerçekleştirmeleri gerekir. Müşteriler genellikle şu değerlendirme sürecini izlemelidir:

1. sonuçları değerlendirmek için bazı iç paydaşları kullanır,
2. A/B testlerini kullanarak kullanıcılara sorgu yeniden yazmayı dağıtır ve
3. Hizmet ilk kez deneyimlerde sunulduğunda KPI'leri ve ölçüm izlemeyi içerir.

Sistem performansını geliştirmek için en iyi yöntemler

• Farklı sorgu türleriyle (Tam metin, Vektör, Karma veya diğer sorgu türleri) uygulamanız için A/B testini tamamlayın. İhtiyaçlarınıza en uygun sorgu deneyimini öğrenin.
• Her zaman sorgu yeniden yazma tarafından oluşturulan her yapay sorgunun özgün sorgunun tam amacını yansıtacağını varsaymayın. Yapay sorgular, özgün sorgunun amacına semantik olarak benzer ancak tam amaca uymayan sorgular üreten ince ayarlı bir SLM tarafından oluşturulur.

Sorgu yeniden yazma değerlendirmesi

Değerlendirme yöntemleri

Sorgu yeniden yazma, birden çok veri kümesi üzerinde otomatik ve insan yargısı ve iç müşterilerden gelen geri bildirimler de dahil olmak üzere iç testlerle değerlendirildi. Test, semantik derecelendirme sonuçlarının, sorgu yeniden yazma ile birleştirildiğinde sonuçların yalnızca anlamsal derecelendirme ile ilgisine göre değerlendirilmesini de içerir.

Değerlendirme sonuçları

Her aday model, değerlendirilen özelliğe uygun ölçümler kullanılarak doğrudan dağıtılan modelle karşılaştırılır. Sorgu yeniden yazma modelleri, en geniş arama senaryolarını desteklemek için farklı özelliklere (dil, uzunluk, biçimlendirme, stiller ve tonlar) sahip sorguları temsil eden çok çeşitli genel veriler kullanılarak ayarlanır ve değerlendirilir. Eğitim ve test verilerimiz şunlardan alınıyor:

Belge kaynakları:

• Akademik ve sektör karşılaştırmaları
• Müşteri verileri (yalnızca test, müşteri izniyle gerçekleştirilir)

Sorgu kaynakları:

• Karşılaştırma sorgusu kümeleri
• Müşteri tarafından sağlanan sorgu kümeleri (yalnızca test, müşteri izniyle gerçekleştirilir)
• Yapay sorgu kümeleri
• İnsan tarafından oluşturulan sorgu kümeleri

Puanlama sorgusu ve belge çiftleri için etiket kaynakları:

• Akademik ve sektör karşılaştırma etiketleri
• Müşteri etiketleri (yalnızca test, müşteri izniyle gerçekleştirilir)
• Yapay veri etiketleri
• İnsan tarafından değerlendirilmiş etiketler

Sorgu yeniden yazmayı kullanımınıza uygun şekilde değerlendirme ve tümleştirme

Sorgu yeniden yazma, halka açık içerik üzerinde eğitildiği için, üretilen yapay sorgular, kendisine yapılan sorgulara bağlı olarak farklılık gösterecektir. Bu nedenle, bu içeriği karar vermek için kullanırken kendi karar ve araştırmanızı kullanmanız önemlidir.

Teknik sınırlamalar, operasyonel faktörler ve aralıklar

GenAI prompt becerisi güçlü özellikler sunsa da bazı sınırlamaları tanımak önemlidir:

• Beceri, Foundry'de müşteri tarafından yapılandırılmış içerik filtrelerine dayanır. Azure Yapay Zeka Arama bu beceri için ek içerik güvenliği mekanizmaları sağlamaz.
• Yapay zeka tarafından oluşturulan içeriğin kalitesi istemlerin etkinliğine ve temel alınan dil modeline bağlıdır. Çıkışın istenen standartları karşıladığından emin olmak için kapsamlı test gereklidir.
• Karmaşık istemlerle büyük hacimli verilerin işlenmesi önemli hesaplama kaynakları gerektirebilir ve gecikmeye neden olabilir. Yalnızca performansı ve maliyet verimliliğini korumak için değil, aynı zamanda veri işlemede olası gecikmeleri önlemek için kaynakları akıllıca planlayın ve ayırın.

Sistem performansı

Sistem performansını geliştirmek için en iyi yöntemler

GenAI Komut İstemi becerisinin performansını optimize etmek için:

• Azure Yapay Zeka Arama debug oturumları aracını kullanarak örnek belgelerdeki istemleri test edin ve yapay zeka tarafından oluşturulan içeriğin tam dağıtımdan önce beklentilerle uyumlu olduğundan emin olun.
• Dil modelini etkili bir şekilde yönlendirmek için net ve ayrıntılı istemler oluşturarak ilgisiz veya yanlış çıkış olasılığını azaltabilirsiniz.
• Yapay zeka işlemenin hesaplama taleplerini işlemek için sistem performansını izleyin ve kaynakları gerektiği şekilde ölçeklendirin.
• Yayından veya dağıtmadan önce çıktıların insan gözetimini teşvik edin. Üretken yapay zeka sayesinde, mevcut görevle ilgili rahatsız edici veya ilgisiz olabilecek içerik oluşturma potansiyeli vardır.

GenAI prompt becerisinin değerlendirilmesi

Kullanımınız için GenAI Komut yeteneğini değerlendirme ve tümleştirme

GenAI İstemi becerisinin avantajlarını kendi bağlamınız dahilinde en üst düzeye çıkarmak için aşağıdaki adımları göz önünde bulundurun:

• Becerinin uygulamasını iş gereksinimlerinizle uyumlu hale getirmek için kısa özetler oluşturma, önemli varlıkları ayıklama veya açıklayıcı meta veriler oluşturma gibi belirli zenginleştirme hedeflerini belirleyin.
• Becerinin performansını değerlendirmek ve gerekli ayarlamaları yapmak için verilerinizin bir alt kümesiyle başlayın. Bu yaklaşım, tam ölçekli dağıtımdan önce denetimli denemelere ve iyileştirmelere olanak tanır.
• Yapay zeka tarafından oluşturulan içeriğin kalitesini ve etkisini izlemek için mekanizmalar oluşturun. İyileştirme alanlarını belirlemek ve zenginleştirilmiş verilerin kullanıcı beklentilerini karşıladığından emin olmak için son kullanıcılardan geri bildirim talep edin.

Teknik sınırlamalar, operasyonel faktörler ve aralıklar

LLM tarafından oluşturulan alt sorguların ilgisiz, aşırı kısıtlayıcı veya belirteç maliyetlerini artırıcı olduğu durumlar olabilir. Aracılı alma, GPT-4o ailesi tarafından işlenen tüm dilleri destekler, ancak oluşturulan sorgu planının kalitesi yine de kullanıcı girişinin netlik düzeyine bağlıdır. Aracısal alma işlemi her alt sorgu için semantik ranker'a bağlı olduğundan, dizinde semantik ranker'ın etkinleştirilmiş olması gerekir. Anlam dereceleyicisi premium, belirteç tabanlı bir özelliktir; genel önizlemenin ilk aşamasında derecelendirme ücretlerinden feragat edilse de, bunlar daha sonra uygulanır ve toplam sahip olma maliyetine katılmalıdır.

Aracılı alma işlemini bir üretim ortamına taşımadan önce, alt sorguların ve döndürülen bölümlerin hedeflenen kullanım örneğine uygun olduğunu, gecikme ve maliyetin hizmet düzeyi hedeflerinizi karşıladığını ve topraklama verilerinin hassas veya uyumlu olmayan içeriği göstermediğini onaylamak için ek testler gerçekleştirin.

Sistem performansı

Herhangi bir büyük ölçekli dil modeli sisteminde olduğu gibi, farklı kullanıcılar döndürülen bölümlerin kullanışlılığı veya ilgisi hakkında farklı yargılara ulaşabilir, bu nedenle performans esnek bir şekilde tanımlanmalıdır. Etkin alma için, uçtan uca uygulamanın, kabul edilemez gecikme, maliyet veya zararlı çıkışlar olmadan, kullanıcılarınızın beklediği içeriği sunması, iyi bir performans sergilemesini ifade eder.

Aracılı alma işleminin etkinliği birçok gerçek dünyadaki faktöre bağlıdır:

• Komut / sohbet geçmişi uzunluğu
• LLM tarafından oluşturulan alt sorgu sayısı
• İndeks boyutu ve şeması (anahtar kelime, vektör, hibrit)
• Planlama modeli seçimi (GPT-4o ve GPT-4o-mini)
• Anlamsal arama yapılandırması ve puan eşikleri

Sistem performansını geliştirmek için en iyi yöntemler

• Belirteç kullanımını düşük tutmak için eski sohbet dönüşlerini özetleyin veya kırpın.
• Yalnızca en ilgili pasajların döndürülmesi için sıralayıcı eşiğini ayarlayın
• Mümkün olduğunda filtreleri kullanma

Öznel alma değerlendirmesi

Etken veri erişimi, birden fazla veri kümesi üzerinde otomatik değerlendirme ve insan yargısı dahil iç testlerle değerlendirildi. Test, yalnızca anlamsal derecelendirmeye sahip sonuçlarla karşılaştırıldığında aracısal alma sonuçlarının ilgi düzeyini değerlendirmeyi içerir.

Değerlendirme yöntemleri

Planlayıcı istemi, model varyantı, alt sorgu sayısı ve derecelendirme eşikleri tarafından tanımlanan her aday özne alma yapılandırması, üretim standardına göre karşı karşıya değerlendirilir. Çoklu sorgu alma senaryoları için özel olarak seçilmiş bir uygunluk, güvenlik, gecikme ve maliyet ölçümleri paketi uygularız. Gerçek dünya kullanım örneklerinde güvenilirlik sağlamak için ayarlama ve test işlemleri dil, sorgu uzunluğu, biçimlendirme, stil ve konuşma tonu açısından farklılık gösteren genel ve müşteri onaylı veri kümelerinin geniş bir karışımında gerçekleştirilir. Test malzemesinin kaynağı:

Belge kaynakları:

• Akademik ve sektör karşılaştırmaları
• Müşteri verileri (yalnızca test, müşteri izniyle gerçekleştirilir)
• Sorgu kaynakları:
• Karşılaştırma sorgusu kümeleri
• Müşteri tarafından sağlanan sorgu kümeleri (yalnızca test, müşteri izniyle gerçekleştirilir)
• Yapay sorgu kümeleri
• İnsan tarafından oluşturulan sorgu kümeleri

Puanlama sorgusu ve belge çiftleri için etiket kaynakları:

• Akademik ve sektör karşılaştırma etiketleri
• Müşteri etiketleri (yalnızca test, müşteri izniyle gerçekleştirilir)
• Yapay veri etiketleri
• İnsan tarafından değerlendirilmiş etiketler

Kullanımınız için etmen geri çağırmayı değerlendirme ve entegrasyonunu yapma

Aracısal alma planlayıcısı büyük ölçüde genel veriler üzerinde eğitildiğinden, oluşturulan alt sorgularının kalitesi ve ilgisi etki alanınıza ve belirli kullanıcı istemlerine göre değişir. Belirli bağlamınız dahilinde aracılı alma avantajlarını en üst düzeye çıkarmak için aşağıdaki adımları göz önünde bulundurun:

• İş açısından kritik kararlar almak için çıktıyı kullanmadan önce doğrulayın: Oluşturulan alt sorguların ve döndürülen belgelerin bir örneğini el ile inceleyip bunların etki alanı terminolojisi, doğruluk ve uyumluluk gereksinimleriyle uyumlu olduğunu doğrulayın.
• Planlayıcıya etki alanına özgü bilgiler sağlayın. LLM'nin sorguları içeriğinizle eşleşen bir dilde yeniden ifade edebilmesi ve ayrıştırabilmesi için eşanlamlı haritaları ve tam konuşma geçmişi sağlayın; böylece geri çağırma ve kesinliği iyileştirin.
• Geri dönüş veya koruma mantığı uygulama: Planlayıcı düşük güvenilirlikli veya kapsam dışı alt sorgular üretirse, isteği daha basit bir anahtar sözcük veya vektör aramasına yönlendirin veya kullanıcıya bir açıklama istemi sunun ve güvenilir olmayan yanıtların aşağı akış yaymasını engelleyin.