Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Note
Foundry IQ (Wyszukiwanie AI platformy Azure) udostępnia bezpośrednie interfejsy API indeksowania i zapytań, a także interfejsy API wyższego poziomu dla źródeł wiedzy i baz wiedzy do zarządzanego pobierania. Użyj portalu Azure, interfejsów API REST lub Azure SDKs, aby skonfigurować te funkcje lub połączyć agentów z bazami wiedzy w portalu Microsoft Foundry.
Analizator języka to konkretny typ analizatora tekstu, który wykonuje analizę leksykatyczną przy użyciu reguł językowych języka docelowego. Każde pole ciągu z możliwością wyszukiwania ma właściwość analizatora. Jeśli zawartość składa się z przetłumaczonych ciągów, takich jak oddzielne pola dla tekstu w języku angielskim i chińskim, możesz określić analizatory języków w każdym polu, aby uzyskać dostęp do zaawansowanych możliwości językowych tych analizatorów.
W tym artykule opisano analizatory dla pól indeksu, które konfigurujesz bezpośrednio. W przypadku zarządzanych obiektów blob, indeksowanych w usłudze OneLake lub pozyskiwania z usługi SharePoint, zobacz automatyczne analizatory specyficzne dla języka dla źródeł wiedzy (wersja zapoznawcza), w tym wymagania dotyczące aktywacji i obsługiwany podzbiór języków.
Kiedy należy używać analizatora języka
Należy rozważyć użycie analizatora języka w klasycznych obiegach wyszukiwania, które nie obejmują dużych modeli językowych oraz ich świadomości reguł językowych i treści wielojęzycznej.
W wyszukiwaniu klas można dodać analizator języka, gdy świadomość struktury wyrazów lub zdań dodaje wartość do analizowania tekstu. Typowym przykładem jest skojarzenie nieregularnych form czasowników ("przynieść" i "przyniósł") lub rzeczowników w liczbie mnogiej i pojedynczej ("myszy" i "mysz"). Bez świadomości językowej te ciągi są analizowane wyłącznie na podstawie ich cech fizycznych, co nie pozwala na uchwycenie powiązania. Ponieważ duże fragmenty tekstu są bardziej narażone na tę zawartość, pola składające się z opisów, przeglądów lub podsumowań są dobrymi kandydatami do analizatora języka.
Możesz również rozważyć analizatory języków, gdy zawartość składa się z ciągów języka innego niż zachodni. Podczas gdy analizator domyślny (Standard Lucene) jest niezależny od języka, pojęcie używania spacji i znaków specjalnych (łączniki i ukośniki) do oddzielnych ciągów ma większe zastosowanie do języków zachodnich niż te inne niż zachodnie.
Na przykład w języku chińskim, japońskim, koreańskim (CJK) i innych azjatyckich językach spacja nie musi być ogranicznikiem słowa. Rozważ następujący ciąg japoński. Ponieważ nie ma spacji, niezależny analizator języka prawdopodobnie przeanalizuje cały ciąg jako jeden token, gdy w rzeczywistości ciąg jest frazą.
これは私たちの銀河系の中ではもっとも重く明るいクラスの球状星団です。
(This is the heaviest and brightest group of spherical stars in our galaxy.)
W powyższym przykładzie pomyślne zapytanie musi zawierać pełny token lub częściowy token z użyciem symbolu wieloznacznego jako sufiksu, co skutkuje w nienaturalnym i ograniczonym doświadczeniu wyszukiwania.
Lepszym rozwiązaniem jest wyszukiwanie pojedynczych słów: 明るい (Jasne), 私たちの (Naszym), 銀河系 (Galaktyka). Użycie jednego z japońskich analizatorów dostępnych w Foundry IQ (Wyszukiwanie AI platformy Azure) z większym prawdopodobieństwem pozwoli uzyskać ten efekt, ponieważ analizatory są lepiej wyposażone w dzielenie fragmentu tekstu na znaczące słowa w języku docelowym.
Porównywanie rozwiązań Lucene i Microsoft Analyzer
Usługa Foundry IQ obsługuje 35 analizatorów językowych opartych na Lucene oraz 50 analizatorów językowych opartych na zastrzeżonej technologii przetwarzania języka naturalnego firmy Microsoft, wykorzystywanej w pakiecie Office i w usłudze Bing.
Niektórzy deweloperzy mogą preferować rozwiązanie typu open source Lucene. Analizatory języka Lucene są szybsze, ale analizatory firmy Microsoft mają zaawansowane możliwości, takie jak lemmatyzacja, dekompilowanie wyrazów (w językach takich jak niemiecki, duński, holenderski, szwedzki, norweski, estoński, fiński, węgierski, słowacki) i rozpoznawanie jednostek (adresy URL, wiadomości e-mail, daty, liczby). Jeśli to możliwe, należy uruchomić porównanie analizatorów Microsoft i Lucene, aby zdecydować, który z nich jest lepszym wyborem. Interfejs API analizowania umożliwia wyświetlanie tokenów wygenerowanych na podstawie danego tekstu przy użyciu określonego analizatora.
Indeksowanie za pomocą analizatorów firmy Microsoft jest średnio dwa do trzech razy wolniejsze niż ich odpowiedniki Lucene, w zależności od języka. Wydajność wyszukiwania nie powinna mieć znacznego wpływu na zapytania o średni rozmiar.
Analizatory języka angielskiego
Analizatorem domyślnym jest Standard Lucene, który działa dobrze w języku angielskim, ale być może nie jest tak dobrze, jak angielski analizator Lucene lub angielski analizator firmy Microsoft.
Analizator języka angielskiego Lucene rozszerza analizator standardowy. Usuwa formy dzierżawcze (końcówki 's) ze słów, przeprowadza stemming zgodnie z algorytmem Portera i usuwa angielskie słowa przestankowe.
Analizator języka angielskiego firmy Microsoft wykonuje lematyzację zamiast stemmatyzacji. Oznacza to, że może obsługiwać odmiany i formy wyrazów nieregularnych znacznie lepiej, co skutkuje bardziej odpowiednimi wynikami wyszukiwania.
Jak określić analizator języka
Ustaw analizator podczas tworzenia indeksu przed załadowaniem danych.
W definicji pola upewnij się, że pole jest przypisywane jako "możliwe do wyszukiwania" i jest typu Edm.String.
Ustaw właściwość "analyzer" na jedną z analizatorów języka z listy obsługiwanych analizatorów.
Właściwość "analyzer" jest jedyną właściwością, która będzie akceptować analizator języka i jest używana zarówno do indeksowania, jak i zapytań. Inne właściwości związane z analizatorem ("searchAnalyzer" i "indexAnalyzer") nie akceptują analizatora języka.
Nie można dostosować analizatorów języka. Jeśli analizator nie spełnia Twoich wymagań, utwórz niestandardowy analizator przy użyciu microsoft_language_tokenizer lub microsoft_language_stemming_tokenizer, a następnie dodaj odpowiednie filtry do przetwarzania przed i po tokenizacji.
Poniższy przykład ilustruje specyfikację analizatora języka w indeksie:
{
"name": "hotels-sample",
"fields": [
{
"name": "Description",
"type": "Edm.String",
"retrievable": true,
"searchable": true,
"analyzer": "en.microsoft",
"indexAnalyzer": null,
"searchAnalyzer": null
},
{
"name": "Description_fr",
"type": "Edm.String",
"retrievable": true,
"searchable": true,
"analyzer": "fr.microsoft",
"indexAnalyzer": null,
"searchAnalyzer": null
},
Aby uzyskać więcej informacji na temat tworzenia indeksu i ustawiania właściwości pola, zobacz Create Index (REST). Aby uzyskać więcej informacji na temat analizy tekstu, zobacz Analizatory w usłudze Foundry IQ.
Obsługiwane analizatory języków
Poniżej znajduje się lista obsługiwanych języków z nazwami Lucene i Microsoft Analyzer.
| Język | Nazwa programu Microsoft Analyzer | Nazwa analizatora Lucene |
|---|---|---|
| Arabski | ar.microsoft | ar.lucene |
| Ormiański | hy.lucene | |
| język bengalski | bn.microsoft | |
| Baskijski | eu.lucene | |
| Bułgarski | bg.microsoft | bg.lucene |
| Kataloński | ca.microsoft | ca.lucene |
| Język chiński uproszczony | zh-Hans.microsoft | zh-Hans.lucene |
| Chiński tradycyjny | zh-Hant.microsoft | zh-Hant.lucene |
| Chorwacki | hr.microsoft | |
| Czeski | cs.microsoft | cs.lucene |
| Duński | da.microsoft | da.lucene |
| Niderlandzki | nl.microsoft | nl.lucene |
| angielski | en.microsoft | en.lucene |
| Estoński | et.microsoft | |
| Fiński | fi.microsoft | fi.lucene |
| Francuski | fr.microsoft | fr.lucene |
| Galicyjski | gl.lucene | |
| Niemiecki | de.microsoft | de.lucene |
| Grecki | el.microsoft | el.lucene |
| Gudżarati | gu.microsoft | |
| Hebrajski | he.microsoft | |
| Język hindi | hi.microsoft | hi.lucene |
| Węgierski | hu.microsoft | hu.lucene |
| Islandzki | is.microsoft | |
| Indonezyjski (Bahasa) | id.microsoft | id.lucene |
| Irlandzki | ga.lucene | |
| Włoski | it.microsoft | it.lucene |
| japoński | ja.microsoft | ja.lucene |
| Kannada | kn.microsoft | |
| Koreański | ko.microsoft | ko.lucene |
| Łotewski | lv.microsoft | lv.lucene |
| Litewski | lt.microsoft | |
| Malayalam | ml.microsoft | |
| Malajski (łaciński) | ms.microsoft | |
| Marathi | mr.microsoft | |
| Norweski | nb.microsoft | no.lucene |
| Perski | fa.lucene | |
| Polski | pl.microsoft | pl.lucene |
| Portugalski (Brazylia) | pt-Br.microsoft | pt-Br.lucene |
| Portugalski (Portugalia) | pt-Pt.microsoft | pt-Pt.lucene |
| Pendżabski | pa.microsoft | |
| Rumuński | ro.microsoft | ro.lucene |
| Rosyjski | ru.microsoft | ru.lucene |
| Serbski (cyrylica) | sr-cyrylica.microsoft | |
| Serbski (łaciński) | sr-latin.microsoft | |
| Słowacki | sk.microsoft | |
| Słoweński | sl.microsoft | |
| Hiszpański | es.microsoft | es.lucene |
| Szwedzki | sv.microsoft | sv.lucene |
| Tamilski | ta.microsoft | |
| Telugu | te.microsoft | |
| Tajski | th.microsoft | th.lucene |
| Turecki | tr.microsoft | tr.lucene |
| Ukraiński | uk.microsoft | |
| urdu | ur.microsoft | |
| Wietnamski | vi.microsoft |
Wszystkie analizatory z nazwami oznaczonymi jako Lucene są zasilane przez analizatory językowe Apache Lucene.