Azure Yapay Zeka Arama'in anlamsal sıralaması

Azure Yapay Zeka Arama semantic ranker, arama sonuçlarını yeniden oluşturmak için Microsoft dil anlama modellerini kullanarak arama ilgi düzeyini ölçülebilir şekilde geliştiren bir özelliktir. Semantik dereceleyici de aracısal almada yerleşiktir. Bu makale, semantik dereceleyicinin davranışlarını ve avantajlarını anlamanıza yardımcı olacak üst düzey bir giriş niteliğindedir.

Anlam dereceleyicisi, kullanım tarafından faturalandırılan premium bir özelliktir, ancak ücretsiz katmanın hizmet sınırlarına tabi olarak ücretsiz olarak kullanabilirsiniz. Arka plan için bu makaleyi öneririz, ancak kullanmaya başlamayı tercih ederseniz bu adımları izleyin.

Anlamsal derecelendirme nedir?

Semantik derecelendirici, metin tabanlı sorgular, vektör sorgularının metin bölümü ve karma sorgular için ilk BM25 dereceli veya RRF dereceli arama sonucunun kalitesini geliştiren sorgu tarafı özellikleri koleksiyonudur. Anlam derecelendirmesi, sorgu yürütme işlem hattını üç şekilde genişletir:

• İlk olarak, BM25 veya Reciprocal Rank Fusion (RRF) kullanılarak puanlanan ilk sonuç kümesine her zaman ikincil derecelendirme ekler. Bu ikincil derecelendirmede, Microsoft Bing uyarlanmış çok dilli, derin öğrenme modelleri kullanılarak en ilgili sonuçların tanıtılması sağlanmıştır.

• İkinci olarak, alt yazıları döndürür ve isteğe bağlı olarak yanıtlardaki cevapları çıkarır; bunları kullanıcının arama deneyimini geliştirmek için arama sayfasında işleyebilirsiniz.

• Üçüncüsü, sorgu yeniden yazmayı etkinleştirirseniz, ilk sorgu dizesini birden çok benzer sorgu dizesine genişletir.

İkincil derecelendirme ve "yanıtlar" sorgu yanıtına uygulanır. Sorgu yeniden yazma, sorgu isteğinin bir parçasıdır.

Anlam dereceleyici aşağıdaki özelliklere sahiptir:

Semantik dereceleyici nasıl çalışır?

Anlam dereceleyici bir sorguyu ve sonuçları alır, ardından bunları Microsoft tarafından barındırılan dil anlama modellerine gönderir. Daha iyi eşleşmeleri tarar.

Aşağıdaki çizimde kavram açıklanmaktadır. "Sermaye" terimini göz önünde bulundurun. Bağlamın finans, hukuk, coğrafya veya dil bilgisi olmasına bağlı olarak farklı anlamlara sahiptir. Dil anlama aracılığıyla, anlam dereceleyici bağlamı algılar ve sorgu amacına uygun sonuçları yükselter.

Anlam derecelendirmesi çok fazla kaynak ve zaman kullanır. Bir sorgu işleminin beklenen gecikme süresi dahilinde işlemeyi tamamlamak için sistem, girdileri birleştirir ve semantik sıralayıcıya indirger. Bu yaklaşım, yeniden boyutlandırma adımını mümkün olan en kısa sürede tamamlamaya yardımcı olur.

Anlam derecelendirmesi üç adımdan oluşur:

1. Girişleri toplama ve özetleme
2. Anlam derecesini kullanarak sonuçları puanlama
3. Çıktı yeniden puanlanmış sonuçlar, alt yazılar ve yanıtlar.

Sistem girişleri nasıl toplar ve özetler?

Anlamsal derecelendirmede, sorgu alt sistemi arama sonuçlarını özetleme ve derecelendirme modellerine giriş olarak geçirir. Derecelendirme modellerinin giriş boyutu kısıtlamaları olduğundan ve yoğun işlemeye sahip olduğundan, verimli işleme için arama sonuçlarının boyutlandırılması ve yapılandırılması (özetlenmiş) olması gerekir.

1. Anlam dereceleyicisi, bir metin sorgusundan BM25 dereceli bir sonuçla veya vektör veya karma sorgudan RRF dereceli bir sonuçla başlar. Yeniden sıralama alıştırması yalnızca metin kullanır. Sonuçlar 50'den fazla sonuç içerse bile, yalnızca ilk 50 sonuç anlam sıralamasına ilerler. Anlamsal derecelendirme genellikle bilgilendirici ve açıklayıcı alanları kullanır.

2. Arama sonucundaki her belge için özetleme modeli en fazla 2.000 belirteç kabul eder ve burada bir belirteç yaklaşık 10 karakterdir. Model, anlamsal yapılandırmada listelenen "title", "keywords" ve "content" alanlarından girişleri bir araya getirir.

3. Sistem, toplam uzunluğun özetleme adımının giriş gereksinimlerini karşıladığından emin olmak için aşırı uzun dizeleri kırpıyor. Bu kırpma alıştırması, semantik yapılandırmanıza öncelik sırasına göre alan eklemenin önemli olmasının nedenidir. Yoğun metin içeren çok büyük belgeleriniz varsa, sistem üst sınırdan sonra herhangi bir şeyi yoksayar.

   Anlamsal alan	Jeton sınırı
   başlık	128 token
   anahtar sözcükler	128 token
   içerik	kalan belirteçler

4. Özetleme çıktısı, her bir belge için, her alandan en ilgili bilgilerden oluşan bir özet dizesidir. Sistem, puanlama için sıralayıcıya ve alt yazılar ve cevaplar için makine okuma-anlama modellerine özet dizeler gönderir.

   Kasım 2024 itibarıyla, anlamsal sıralayıcıya geçirilen her bir özet dizenin maksimum uzunluğu 2.048 belirteçtir. Daha önce 256 belirteçti.

Sonuçlar nasıl puanlanmıştır?

Sistem, sonuçları açıklama ve 2.048 belirteç uzunluğunu dolduran özet metindeki diğer içeriklere göre puanlar.

1. Sistem, sağladığınız sorguya göre açıklamalı alt yazıları kavramsal ve anlamsal ilgi açısından değerlendirir.

2. Sistem, verilen sorgu için belgenin anlamsal ilgisine göre her belgeye bir @search.rerankerScore atar. Puanlar 4 ile 0 (yüksekten düşüke) arasında değişir ve daha yüksek bir puan daha yüksek bir ilgi gösterir.

   Puan	Anlamı
   4.0	Belge son derece alakalıdır ve soruyu tamamen yanıtlar, ancak metinde soruyla ilgili olmayan ek metinler olabilir.
   3.0	Belge ilgili ancak tamamlanmasını sağlayacak ayrıntılar eksik.
   2.0	Belge kısmen alakalı; soruyu eksik yanıtlar veya yalnızca bazı yönlerini ele alır.
   1.0	Belge soruyla ilgilidir ve küçük bir bölümünü yanıtlar.
   0.0	Belge ilgisiz.

3. Sistem eşleşmeleri puana göre azalan sırada listeler ve sorgu yanıtı yüküne ekler. Yük, yanıtları, düz metni, vurgulanmış başlıkları ve alınabilir olarak işaretlediğiniz veya "select" yan tümcesinde belirttiğiniz alanları içerir.

Semantik dereceleyicinin çıkışları

Her özet dizeden, makine okuma kavrama modelleri en temsili olan pasajları bulur.

Çıkışlar şunlardır:

• Belge için anlamsal başlık . Her resim yazısı düz metin sürümünde ve vurgulama sürümünde kullanılabilir ve genellikle belge başına 200'den az sözcüktür.

• Parametreyi belirttiğinizi varsayarsak isteğe bağlı bir answers, sorgu bir soru olarak sunulur ve uzun dizede soruya olası bir yanıt sağlayan bir metin bulunur.

Açıklamalı alt yazılar ve yanıtlar her zaman dizininizdeki ayrıntılı metinlerdir. Bu iş akışında yeni içerik yaratan veya derleyen bir yapay zeka modeli yoktur.

Anlamsal özellikler ve sınırlamalar

Semantik dereceleyicinin yapabilecekleri :

• Özgün sorgunun amacına anlamsal olarak daha yakın olan eşleşmeleri ön plana çıkarın.

• Altyazı ve yanıt olarak kullanılacak dizeleri bulun. Yanıt, arama sonuçları sayfasında işleyebileceğiniz açıklamalı alt yazılar ve yanıtlar döndürür.

Semantik dereceleyicinin yapamadığı şey, anlamsal olarak ilgili sonuçları bulmak için sorguyu tüm korpus üzerinde yeniden çalıştırmaktır. Anlamsal derecelendirme, varsayılan derecelendirme algoritması tarafından puanlanan ilk 50 sonuçtan oluşan mevcut sonuç kümesini yeniden oluşturur. Ayrıca semantik dereceleyici yeni bilgiler veya dizeler oluşturamaz. Dil modelleri içeriğinizden açıklamalı alt yazılar ve yanıtlar ayıklar, böylece sonuçlar yanıt benzeri metin içermiyorsa, sonuç oluşturmaz.

Anlamsal derecelendirme her senaryoda yararlı olmasa da, bazı içerikler özelliklerinden önemli ölçüde yararlanabilir. Anlam derecesindeki dil modelleri, bilgi açısından zengin ve prose olarak yapılandırılmış aranabilir içerik üzerinde en iyi şekilde çalışır. Açıklayıcı içerik içeren bir bilgi bankası, çevrimiçi belgeler veya belgeler, anlam dereceleyici özelliklerinden en fazla kazancı görür.

Temel alınan teknoloji Bing ve Microsoft Research'dür ve eklenti özelliği olarak Azure Yapay Zeka Arama altyapısına entegre edilmiştir. Anlamsal sıralayıcıyı destekleyen araştırmalar ve yapay zeka yatırımları hakkında daha fazla bilgi için bkz. Bing'ün yapay zekası Azure Yapay Zeka Arama'ü nasıl güçlendiriyor (Microsoft Araştırma Blogu).

Aşağıdaki videoda özelliklere genel bir bakış sunulmaktadır.

Semantik sıralayıcı eş anlamlı haritalarını nasıl kullanır?

Arama dizininizdeki bir alanla ilişkili eş anlamlı eşlemeler için desteği etkinleştirir ve bu alanı anlamsal ranker yapılandırmasına eklerseniz, anlam dereceleyici yeniden boyutlandırma işlemi sırasında yapılandırılan eş anlamlıları otomatik olarak uygular.

Kullanılabilirlik ve fiyatlandırma

Semantik dereceleyici belirli bölgelerde kullanılabilir. Tek başına bir özellik olarak veya aracılı alma özelliğinin yerleşik bir bileşeni olarak kullanılabilir. Her özellik bağımsız olarak faturalandırılır.

Semantic ranker, aylık ücretsiz istek ödeneği ve ücretsiz ödenek tüketildikten sonra kullandıkça öde fiyatlandırması için standart bir plan ile ücretsiz bir plan (varsayılan) sunar. Daha fazla bilgi için bkz. Semantik dereceli faturalamayı etkinleştirme veya devre dışı bırakma.

Semantik dereceleyicinin ücretlendirilmesi, sorgu istekleri queryType=semantic içerdiğinde ve arama dizesi boş olmadığında (örneğin, search=pet friendly hotels in New York) gerçekleşir. Arama dizeniz boşsa ()search=* queryType semantik olarak ayarlansa bile ücretlendirilemezsiniz.

Nasıl başlarsınız?

1. Bölgesel kullanılabilirliği denetleyin.

2. (İsteğe bağlı) Ücretsiz aylık kotanın ötesinde kullanım için standart faturalama planına geçin .

3. Arama dizininde anlam derecesini yapılandırın.

4. Anlamsal açıklamalı alt yazılar ve vurgular döndürmek için sorguları ayarlayın.

5. (İsteğe bağlı) Anlamsal yanıtlar döndür.

İlgili içerik

• Blog: Karma alma ve derecelendirme özellikleriyle vektör aramasını daha iyi performansla gerçekleştirme