Egyéni elemzők hozzáadása karakterlánc mezőkhöz egy Azure AI Keresés-indexben

Az egyéni elemző a lexikális elemzés összetevője egyszerű szöveges tartalom fölött. Ez egy tokenizáló, egy vagy több token szűrő és egy vagy több karakterszűrő felhasználó által definiált kombinációja. Az egyéni elemző egy keresési indexben van megadva, majd név alapján hivatkozik az egyéni elemzést igénylő meződefiníciókra. A rendszer mezőnként meghív egy egyéni elemzőt. A mező attribútumai határozzák meg, hogy indexelésre, lekérdezésekre vagy mindkettőre használják-e.

Egyéni elemzőkben a karakterszűrők előkészítik a bemeneti szöveget, mielőtt a tokenizer feldolgozta volna (például eltávolítja a korrektúrát). Ezután a tokenizer tokenekre bontja a szöveget. Végül a token-szűrők módosítják a tokenizáló által kibocsátott tokeneket. Fogalmakért és példákért tekintse meg az Elemzőket az Azure AI Keresésben és az oktatóanyagban: Egyéni elemző létrehozása telefonszámokhoz.

Miért érdemes egyéni elemzőt használni?

Érdemes megfontolnia egy egyéni elemzőt a klasszikus keresési munkafolyamatokban, amelyek nem tartalmaznak nagy nyelvi modelleket, és képesek kezelni a tartalom rendellenességeit.

Az osztálykeresésben egy egyéni elemzővel szabályozhatja az egyszerű szöveg indexelhető és kereshető jogkivonatokká alakításának folyamatát, így kiválaszthatja, hogy mely elemzési vagy szűrési típusokat kell meghívni, és hogy milyen sorrendben történjenek.

Hozzon létre és rendeljen hozzá egyéni elemzőt, ha az alapértelmezett (Standard Lucene), a beépített vagy a nyelvelemzők nem elegendőek az ön igényeihez. Egyéni elemzőt is létrehozhat, ha egyéni beállításokkal rendelkező beépített elemzőt szeretne használni. Ha például a maxTokenLength Standard Lucene beállítását szeretné módosítani, egy egyéni elemzőt hozna létre egy felhasználói névvel az opció meghatározásához.

Olyan forgatókönyvek, ahol az egyéni elemzők hasznosak lehetnek:

• Karakterszűrők használata a HTML jelölés eltávolításához a szöveg bemenetek tokenszámítása előtt, vagy bizonyos karakterek vagy szimbólumok cseréje.

• Fonetikus keresés. Adjon hozzá egy fonetikai szűrőt, ami lehetővé teszi a keresést a szavak hangzása alapján, nem pedig a helyesírásuk szerint.

• A lexikális elemzés letiltása. A Kulcsszóelemzővel olyan kereshető mezőket hozhat létre, amelyek nem elemezhetők.

• Gyors előtag-/utótagkeresés. Adja hozzá az Edge N-gram token szűrőt a szavak előtagjainak indexeléséhez, hogy lehetővé tegye a gyors előtag-egyeztetést. Kombinálja a Fordított token szűrővel az utótagegyezés érdekében.

• Egyéni tokenizálás. Például használja a Whitespace tokenizáló eszközt, hogy a mondatokat szóközökkel elválasztva tokenekre bontsa.

• ASCII összecsukható. Adja hozzá a Standard ASCII összecsukható szűrőt, hogy normalizálja az olyan mellékjeleket, mint ö vagy ê a keresési kifejezésekben.

Egyéni elemző létrehozása

Egyéni elemző létrehozásához adja meg azt az analyzers index szakaszában a tervezéskor, majd a kereshető mezőkön hivatkozzon rá a Edm.String tulajdonság vagy a analyzer és indexAnalyzer pár használatával.

Az elemződefiníció egy nevet, típust, egy vagy több karakterszűrőt, legfeljebb egy tokenizálót és egy vagy több token szűrőt tartalmaz a tokenizálás utáni feldolgozáshoz. A rendszer a tokenizálás előtt karakterszűrőket alkalmaz. A token szűrőket és a karakterszűrőket balról jobbra alkalmazzák.

• Az egyéni elemzők neveinek egyedinek kell lenniük, és nem egyezhetnek meg a beépített elemzőkkel, tokenizáló eszközökkel, token szűrőkkel vagy karakterszűrőkkel. A nevek betűkből, számjegyekből, szóközökből, kötőjelekből vagy aláhúzásokból állnak. A neveknek egyszerű szöveges karakterekkel kell kezdődniük és végződniük. A neveknek 128 karakternél rövidebbnek kell lenniük.

• A típusnak #Microsoft.Azure.Search.CustomAnalyzer típusúnak kell lennie.

• charFiltersA megadott sorrendben egy vagy több szűrő is lehet a karakterszűrőkből, a tokenizálás előtt feldolgozva. Egyes karakterszűrők beállítási lehetőségekkel rendelkeznek, amelyek egy charFilters szakaszban állíthatók be. A karakterszűrők megadása nem kötelező.

• tokenizer pontosan egy Tokenizer. Érték megadása kötelező. Ha több tokenizerre van szüksége, létrehozhat több egyéni elemzőt, és hozzárendelheti őket mezőnként az indexsémában.

• tokenFiltersA Token szűrők lehetnek egy vagy több szűrő, amelyet a tokenizálás után, a megadott sorrendben dolgoznak fel. A token szűrők esetében, amelyeknek vannak opcióik, adjon hozzá egy tokenFilter szakaszt a konfiguráció megadásához. A token szűrők nem kötelezőek.

Az elemzők nem hozhatnak létre 300 karakternél hosszabb jogkivonatokat, vagy az indexelés sikertelen lesz. A hosszú tokenek rövidítéséhez vagy kizárásához használja a TruncateTokenFilter és a LengthTokenFilter értéket. További információért tekintse meg a tokenszűrőket.

"analyzers":(optional)[
   {
      "name":"name of analyzer",
      "@odata.type":"#Microsoft.Azure.Search.CustomAnalyzer",
      "charFilters":[
         "char_filter_name_1",
         "char_filter_name_2"
      ],
      "tokenizer":"tokenizer_name",
      "tokenFilters":[
         "token_filter_name_1",
         "token_filter_name_2"
      ]
   },
   {
      "name":"name of analyzer",
      "@odata.type":"#analyzer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"charFilters":(optional)[
   {
      "name":"char_filter_name",
      "@odata.type":"#char_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenizers":(optional)[
   {
      "name":"tokenizer_name",
      "@odata.type":"#tokenizer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenFilters":(optional)[
   {
      "name":"token_filter_name",
      "@odata.type":"#token_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
]

Az indexdefiníción belül ezt a szakaszt bárhová elhelyezheti egy index-létrehozási kérelem törzsében, de általában a végére kerül:

{
  "name": "name_of_index",
  "fields": [ ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "analyzers":(optional)[ ],
  "charFilters":(optional)[ ],
  "tokenizers":(optional)[ ],
  "tokenFilters":(optional)[ ]
}

Az elemződefiníció a nagyobb index része. A karakterszűrők, a tokenizerek és a tokenszűrők definíciói csak akkor kerülnek hozzáadásra az indexhez, ha egyéni beállításokat ad meg. Ha meglévő szűrőt vagy tokenizálót szeretne használni, adja meg név szerint az elemző definíciójában. További információt az Index létrehozása (REST) című témakörben talál. További példákért lásd : Elemzők hozzáadása az Azure AI Keresésben.

Egyéni elemzők tesztelése

A Tesztelemző (REST) segítségével megtekintheti, hogy egy elemző hogyan töri meg a megadott szöveget szóelemekre.

Kérelem

  POST https://[search service name].search.windows.net/indexes/[index name]/analyze?api-version=[api-version]
    Content-Type: application/json
    api-key: [admin key]

  {
     "analyzer":"my_analyzer",
     "text": "Vis-à-vis means Opposite"
  }

Válasz

  {
    "tokens": [
      {
        "token": "vis_a_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "vis_à_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "means",
        "startOffset": 10,
        "endOffset": 15,
        "position": 1
      },
      {
        "token": "opposite",
        "startOffset": 16,
        "endOffset": 24,
        "position": 2
      }
    ]
  }

Egyéni elemzők frissítése

Miután definiált egy elemzőt, egy tokenizert, egy token szűrőt vagy egy karakterszűrőt, nem módosítható. Újak csak akkor vehetők fel meglévő indexbe, ha a allowIndexDowntime jelző igaz értékre van állítva az indexfrissítési kérelemben:

PUT https://[search service name].search.windows.net/indexes/[index name]?api-version=[api-version]&allowIndexDowntime=true

Ez a művelet legalább néhány másodpercig offline állapotba helyezi az indexet, ami miatt az indexelés és a lekérdezési kérelmek meghiúsulnak. Az index teljesítménye és írási rendelkezésre állása az index frissítése után néhány percig csökkenhet, vagy hosszabb lehet a nagyon nagy indexek esetében, de ezek a hatások ideiglenesek, és végül önállóan feloldódnak.

Beépített elemzők

Ha egyéni beállításokkal rendelkező beépített elemzőt szeretne használni, az egyéni elemző létrehozása az a mechanizmus, amellyel megadhatja ezeket a beállításokat. Ezzel szemben ha beépített elemzőt szeretne használni, egyszerűen név szerint kell hivatkoznia rá a meződefinícióban.

¹ Az elemzőtípusok mindig előtaggal kezdődnek a kódban úgy, hogy #Microsoft.Azure.Search valójában PatternAnalyzer-ként van megadva. Eltávolítottuk az előtagot az egyszerűség kedvéért, de a kódban szükség van az előtagra.

A analyzer_type csak testre szabható elemzők számára érhető el. Ha nincsenek lehetőségek, ahogy a kulcsszóelemző esetében is, nincs társított #Microsoft.Azure.Search-típus.

Karakterszűrők

A karakterszűrők feldolgozást végeznek, mielőtt egy sztring elérné a tokenizert.

Az Azure AI Keresés az alábbi listában szereplő karakterszűrőket támogatja. Mindegyikről további információt a Lucene API-referencia tartalmaz.

¹ A karakterszűrő-típusok a kódban mindig #Microsoft.Azure.Search előtaggal vannak előírva, így a MappingCharFilter valójában #Microsoft.Azure.Search.MappingCharFilter-ként van megadva. Eltávolítottuk az előtagot a tábla szélességének csökkentése érdekében, de ne feledje beilleszteni a kódjába. Figyelje meg, hogy a char_filter_type csak testre szabható szűrők esetén érhető el. Ha nincsenek lehetőségek, ahogyan a html_strip esetében is, nincs társított #Microsoft.Azure.Search-típus.

Tokenizálók

A tokenizáló a folyamatos szöveget tokenek sorozatára osztja, például egy mondat szavakra való felosztását, vagy egy szó gyökerére bontását.

Az Azure AI Keresés az alábbi listában támogatja a tokenizereket. Mindegyikről további információt a Lucene API-referencia tartalmaz.

¹ A tokenizáló típusok mindig egy előtagot kapnak a kódban, így a #Microsoft.Azure.Search valójában ClassicTokenizer-ként van megadva. Eltávolítottuk az előtagot a tábla szélességének csökkentése érdekében, de ne feledje beilleszteni a kódjába. Figyelje meg, hogy tokenizer_type csak testre szabható tokenizerekhez van megadva. Ha nincsenek lehetőségek, ahogyan a karakter tokenizáló esetében is, nincs típus társítva a #Microsoft.Azure.Search-hez.

Token szűrők

A token szűrőt arra használjuk, hogy kiszűrjük vagy módosítsuk a tokenizáló által létrehozott tokeneket. Megadhat például egy kisbetűs szűrőt, amely az összes karaktert kisbetűssé alakítja. Egy egyéni elemzőben több token szűrő is használható. A token szűrők a lista sorrendjében futnak.

Az alábbi táblázatban az Apache Lucene használatával implementált jogkivonatszűrők a Lucene API dokumentációhoz vannak csatolva.

¹ A token szűrőtípusok a kódban mindig előtaggal szerepelnek #Microsoft.Azure.Search, így ArabicNormalizationTokenFilter valójában #Microsoft.Azure.Search.ArabicNormalizationTokenFilter formájában van megadva. Eltávolítottuk az előtagot a tábla szélességének csökkentése érdekében, de ne feledje beilleszteni a kódjába.

Lásd még

• Azure AI Keresés REST API-k
• Elemzők az Azure AI Keresésben (példák)
• Index létrehozása (REST)