Azure Yapay Zeka Arama dizinindeki dize alanlarına özel çözümleyiciler ekleme

Özel çözümleyici, düz metin içeriği üzerinde sözcük temelli analizin bir bileşenidir. Bir belirteç oluşturucu, bir veya daha fazla belirteç filtresi ve bir veya daha fazla karakter filtresinin kullanıcı tanımlı bir birleşimidir. Arama dizininde özel bir çözümleyici belirtilir ve ardından özel analiz gerektiren alan tanımlarında adıyla kullanılır. Alan başına bir özel çözümleyici çağrılır. Alandaki öznitelikler dizin oluşturma, sorgular veya her ikisi için mi kullanıldığını belirler.

Özel çözümleyicide karakter filtreleri, belirteç oluşturucu tarafından işlenmeden önce giriş metnini hazırlar (örneğin, işaretlemeyi kaldırma). Ardından belirteç oluşturucu metni belirteçlere böler. Son olarak, belirteç filtreleri belirteç oluşturucu tarafından yayılan belirteçleri değiştirir. Kavramlar ve örnekler için bkz . Azure AI Arama'da Çözümleyiciler ve Öğretici: Telefon numaraları için özel çözümleyici oluşturma.

Özel çözümleyici neden kullanılır?

Klasik arama iş akışlarında büyük dil modelleri ve içerik anomalilerini işleme yeteneği içermeyen özel bir çözümleyiciyi göz önünde bulundurmalısınız.

Sınıf aramasında özel çözümleyici, çağrılacak analiz veya filtreleme türlerini ve bunların hangi sırada gerçekleşeceğini seçmenize olanak tanıyarak düz metni dizine alınabilen ve aranabilir belirteçlere dönüştürme işlemi üzerinde denetim sahibi olmanıza olanak sağlar.

Varsayılan (Standart Lucene), yerleşik veya dil çözümleyicilerinden hiçbiri gereksinimleriniz için yeterli değilse özel bir çözümleyici oluşturun ve atayın. Ayrıca, özel seçeneklerle yerleşik çözümleyici kullanmak istiyorsanız özel çözümleyici de oluşturabilirsiniz. Örneğin, Standard Lucene'deki maxTokenLength'yi değiştirmek isterseniz, bu seçimi yapmak için kullanıcı tanımlı bir adla özel bir çözümleyici oluşturursunuz.

Özel çözümleyicilerin yararlı olabileceği senaryolar şunlardır:

• Metin girişleri belirteç haline getirilmeden önce HTML işaretlemesini kaldırmak için karakter filtrelerini kullanma veya belirli karakterleri ya da simgeleri değiştirme.

• Fonetik arama. Sözcüğün nasıl yazıldığını değil, nasıl göründüğüne göre aramayı etkinleştirmek için fonetik filtre ekleyin.

• Sözcük temelli analizi devre dışı bırakın. Çözümlenmemiş aranabilir alanlar oluşturmak için Anahtar Sözcük çözümleyicisini kullanın.

• Hızlı ön ek/sonek aramaları. Hızlı ön ek eşleştirmeyi etkinleştirmek amacıyla kelimelerin ön eklerini dizine eklemek için Edge N-gram belirteç filtresini ekleyin. Sonek eşleştirmesi yapmak için bunu Ters belirteç filtresiyle birleştirin.

• Özel belirteç oluşturma. Örneğin, tümceleri boşluk sınırlayıcı olarak kullanarak belirteçlere bölmek için Boşluk belirteci kullanın.

• ASCII katlama. Arama terimlerinde ö veya ê gibi aksanları normalleştirmek için Standart ASCII katlama filtresini ekleyin.

Özel çözümleyici oluşturma

Özel bir çözümleyici oluşturmak için, bunu tasarım zamanında dizinin analyzers bölümünde belirtin ve ardından aranabilir Edm.String alanlarda analyzer özelliğini veya indexAnalyzer ve Edm.String çiftini kullanarak buna başvurun.

Çözümleyici tanımı bir ad, tür, bir veya daha fazla karakter filtresi, en fazla bir belirteç oluşturucu ve belirteç sonrası işleme için bir veya daha fazla belirteç filtresi içerir. Karakter filtreleri belirteç oluşturmadan önce uygulanır. Belirteç filtreleri ve karakter filtreleri soldan sağa uygulanır.

• Özel çözümleyicideki adlar benzersiz olmalıdır ve yerleşik çözümleyiciler, belirteç oluşturucular, belirteç filtreleri veya karakter filtreleriyle aynı olamaz. Adlar harflerden, basamaklardan, boşluklardan, kısa çizgilerden veya alt çizgilerden oluşur. Adların düz metin karakterleriyle başlaması ve bitmesi gerekir. Adların uzunluğu 128 karakterin altında olmalıdır.

• Tür #Microsoft.Azure.Search.CustomAnalyzer olmalıdır.

• charFilters, belirteç oluşturmadan önce belirtilen sırayla işlenen Karakter Filtrelerinden bir veya daha fazla filtre olabilir. Bazı karakter filtreleri, bir charFilters bölümde ayarlanabilen seçeneklere sahiptir. Karakter filtreleri isteğe bağlıdır.

• tokenizer tam olarak bir Tokenizer'dır. Bir değer gereklidir. Birden fazla belirteç oluşturucuya ihtiyacınız varsa, birden çok özel çözümleyici oluşturabilir ve bunları dizin şemanızda alan temelinde atayabilirsiniz.

• tokenFiltersBelirteç Filtreleri'nden bir veya daha fazla filtre, belirteçleme sonrasında ve sağlanan sırayla işlenir. Seçenekleri olan belirteç filtreleri için, yapılandırmayı belirtmek için bir tokenFilter bölüm ekleyin. Belirteç filtreleri isteğe bağlıdır.

Çözümleyiciler 300 karakterden uzun belirteçler üretmemelidir, aksi takdirde dizin oluşturma başarısız olur. Uzun belirteci kırpmak veya dışlamak için sırasıyla TruncateTokenFilter ve LengthTokenFilter kullanın. Başvuru için bkz Belirteç filtreleri.

"analyzers":(optional)[
   {
      "name":"name of analyzer",
      "@odata.type":"#Microsoft.Azure.Search.CustomAnalyzer",
      "charFilters":[
         "char_filter_name_1",
         "char_filter_name_2"
      ],
      "tokenizer":"tokenizer_name",
      "tokenFilters":[
         "token_filter_name_1",
         "token_filter_name_2"
      ]
   },
   {
      "name":"name of analyzer",
      "@odata.type":"#analyzer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"charFilters":(optional)[
   {
      "name":"char_filter_name",
      "@odata.type":"#char_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenizers":(optional)[
   {
      "name":"tokenizer_name",
      "@odata.type":"#tokenizer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenFilters":(optional)[
   {
      "name":"token_filter_name",
      "@odata.type":"#token_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
]

Dizin tanımında, bu bölümü dizin oluşturma isteğinin gövdesinde herhangi bir yere yerleştirebilirsiniz, ancak genellikle sonuna gider:

{
  "name": "name_of_index",
  "fields": [ ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "analyzers":(optional)[ ],
  "charFilters":(optional)[ ],
  "tokenizers":(optional)[ ],
  "tokenFilters":(optional)[ ]
}

Çözümleyici tanımı, büyük dizinin bir parçasıdır. Karakter filtreleri, belirteç oluşturucular ve belirteç filtreleri tanımları dizine yalnızca özel seçenekler ayarladığınızda eklenir. Mevcut bir filtreyi veya belirteç oluşturucuyu olduğu gibi kullanmak için çözümleyici tanımında adıyla belirtin. Daha fazla bilgi için bkz . Dizin Oluşturma (REST). Daha fazla örnek için bkz . Azure Yapay Zeka Arama'te çözümleyici ekleme.

Özel çözümleyicileri test etme

Bir çözümleyicinin verilen metni belirteçlere nasıl böldiğini görmek için Test Çözümleyicisi'ni (REST) kullanabilirsiniz.

İstek

  POST https://[search service name].search.windows.net/indexes/[index name]/analyze?api-version=[api-version]
    Content-Type: application/json
    api-key: [admin key]

  {
     "analyzer":"my_analyzer",
     "text": "Vis-à-vis means Opposite"
  }

Yanıt

  {
    "tokens": [
      {
        "token": "vis_a_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "vis_à_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "means",
        "startOffset": 10,
        "endOffset": 15,
        "position": 1
      },
      {
        "token": "opposite",
        "startOffset": 16,
        "endOffset": 24,
        "position": 2
      }
    ]
  }

Özel çözümleyicileri güncelleştirme

Çözümleyici, belirteç oluşturucu, belirteç filtresi veya karakter filtresi tanımlandıktan sonra değiştirilemez. Var olan bir dizine yalnızca dizin güncelleştirme isteğinde allowIndexDowntime bayrağı true olarak ayarlandığında yeni dizin eklenebilir:

PUT https://[search service name].search.windows.net/indexes/[index name]?api-version=[api-version]&allowIndexDowntime=true

Bu işlem dizininizi en az birkaç saniye çevrimdışı duruma geçirir ve dizin oluşturma ve sorgu isteklerinizin başarısız olmasına neden olur. Dizinin performansı ve yazma kullanılabilirliği, dizin güncelleştirildikten sonra birkaç dakika veya çok büyük dizinler için daha uzun süre bozulabilir, ancak bu etkiler geçicidir ve sonunda kendi kendine çözülür.

Yerleşik çözümleyiciler

Özel seçeneklerle yerleşik çözümleyici kullanmak istiyorsanız, özel çözümleyici oluşturmak, bu seçenekleri belirttiğiniz mekanizmadır. Buna karşılık, yerleşik bir çözümleyiciyi olduğu gibi kullanmak için, alan tanımında adına başvurmanız yeterlidir.

¹ Çözümleyici Türleri her zaman koda #Microsoft.Azure.Search ön eki alır, böylece PatternAnalyzer olarak belirtildiğinde #Microsoft.Azure.Search.PatternAnalyzer şeklinde olur. Açıklamada kısa olması için ön eki kaldırdık, ancak kodunuzda ön ek gereklidir.

analyzer_type yalnızca özelleştirilebilen çözümleyiciler için sağlanır. Anahtar sözcük çözümleyicisinde olduğu gibi seçenek yoksa, ilişkili #Microsoft.Azure.Search türü yoktur.

Karakter filtreleri

Karakter filtreleri, bir dize belirteçleyiciye ulaşmadan önce işleme ekler.

Azure Yapay Zeka Arama, aşağıdaki listede karakter filtrelerini destekler. Her biri hakkında daha fazla bilgi Lucene API referansında bulunabilir.

¹ Karakter Filtresi Türleri, kodda her zaman #Microsoft.Azure.SearchMappingCharFilter şeklinde öne eklenir ve #Microsoft.Azure.Search.MappingCharFilter olarak belirtilir. Tablonun genişliğini azaltmak için ön eki kaldırdık, ancak kodunuza eklemeyi unutmayın. char_filter_type yalnızca özelleştirilebilen filtreler için sağlandığına dikkat edin. html_strip'da olduğu gibi seçenek yoksa, ilişkili #Microsoft.Azure.Search türü yoktur.

Belirteç Oluşturucular

Belirteç oluşturucu, sürekli metni bir tümceyi sözcüklere veya bir sözcüğü kök formlara bölme gibi bir belirteç dizisine böler.

Azure Yapay Zeka Arama aşağıdaki listede belirteç oluşturucuları destekler. Her biri hakkında daha fazla bilgi Lucene API referansında bulunabilir.

¹ Tokenlaştırıcı Türleri, kodda her zaman #Microsoft.Azure.Search şeklinde ClassicTokenizer olarak #Microsoft.Azure.Search.ClassicTokenizer ön eklenir. Tablonun genişliğini azaltmak için ön eki kaldırdık, ancak kodunuza eklemeyi unutmayın. tokenizer_type yalnızca özelleştirilebilen belirteç oluşturucular için sağlandığına dikkat edin. Harf belirteci gibi hiçbir seçenek yoksa, ilişkili #Microsoft.Azure.Search türü yoktur.

Belirteç filtreleri

Belirteç filtresi, belirteç oluşturucu tarafından oluşturulan belirteçleri filtrelemek veya değiştirmek için kullanılır. Örneğin, tüm karakterleri küçük harfe dönüştüren küçük harfli bir filtre belirtebilirsiniz. Özel çözümleyicide birden çok belirteç filtreniz olabilir. Belirteç filtreleri listelendikleri sırayla çalışır.

Aşağıdaki tabloda Apache Lucene kullanılarak uygulanan belirteç filtreleri Lucene API belgelerine bağlıdır.

¹ Belirteç Filtresi Türleri, kodda her zaman #Microsoft.Azure.Search ile ön eklenir ve ArabicNormalizationTokenFilter aslında #Microsoft.Azure.Search.ArabicNormalizationTokenFilter olarak belirtilir. Tablonun genişliğini azaltmak için ön eki kaldırdık, ancak kodunuza eklemeyi unutmayın.

Ayrıca bkz.

• Azure AI Arama REST API'leri
• Azure Yapay Zeka Arama'teki Çözümleyiciler (Örnekler)
• Dizin Oluştur (REST)