Přidání vlastních analyzátorů do řetězcových polí v indexu Azure AI Vyhledávač

Vlastní analyzátor je součástí lexikální analýzy obsahu prostého textu. Jedná se o uživatelsky definovanou kombinaci jednoho tokenizátoru, jednoho nebo více filtrů tokenů a jednoho nebo více filtrů znaků. Vlastní analyzátor je definován v indexu vyhledávání a poté je v definicích polí, které vyžadují vlastní analýzu, odkazován podle jeho názvu. Vlastní analyzátor se vyvolá pro každé pole. Atributy v poli určují, jestli se používá pro indexování, dotazy nebo obojí.

Ve vlastním analyzátoru filtry znaků připraví vstupní text před zpracováním tokenizátorem (například odebráním značek). Dále tokenizátor rozdělí text na tokeny. Nakonec filtry tokenů upraví tokeny generované tokenizátorem. Koncepty a příklady najdete v tématu Analyzátory ve službě Azure AI Vyhledávač a kurz: Vytvoření vlastního analyzátoru pro telefonní čísla.

Proč používat vlastní analyzátor?

Vlastní analyzátor byste měli zvážit v klasických pracovních postupech vyhledávání, které neobsahují velké jazykové modely a jejich schopnost zpracovávat anomálie obsahu.

Ve vyhledávání tříd vám vlastní analyzátor poskytuje kontrolu nad procesem převodu prostého textu na indexovatelné a prohledávatelné tokeny tím, že vám umožní zvolit, které typy analýzy nebo filtrování se mají vyvolat, a pořadí, ve kterém k nim dojde.

Vytvořte a přiřaďte vlastní analyzátor, pokud pro vaše potřeby nestačí žádný z výchozích analyzátorů (Standard Lucene), integrovaných nebo jazykových analyzátorů. Pokud chcete použít integrovaný analyzátor s vlastními možnostmi, můžete také vytvořit vlastní analyzátor. Pokud byste například chtěli změnit standard maxTokenLength Lucene, vytvořili byste vlastní analyzátor s uživatelsky definovaným názvem a tuto možnost nastavili.

Mezi scénáře, ve kterých můžou být užitečné vlastní analyzátory, patří:

• Použití filtrů znaků k odebrání kódu HTML před tokenizovanými textovými vstupy nebo nahrazením určitých znaků nebo symbolů.

• Fonetické vyhledávání. Přidejte fonetický filtr, který povolí vyhledávání na základě toho, jak slovo zní, ne jak je napsané.

• Zakažte lexikální analýzu. Pomocí analyzátoru klíčových slov můžete vytvářet prohledávatelná pole, která nejsou analyzována.

• Rychlé hledání předpon nebo přípon Přidejte filtr tokenu N-gram Edge k indexu předpon slov, abyste umožnili rychlé porovnávání předpon. Zkombinujte ho s reverzním tokenovým filtrem pro porovnávání dle přípon.

• Vlastní tokenizace Například pomocí tokenizátoru prázdných znaků rozdělte věty do tokenů pomocí prázdných znaků jako oddělovače.

• Normalizace ASCII Přidejte standardní filtr pro filtrování ASCII k normalizaci diakritiky, jako je ö nebo ê, u hledaných výrazů.

Vytvoření vlastního analyzátoru

Pokud chcete vytvořit vlastní analyzátor, zadejte ho v analyzers části indexu v době návrhu a pak na něj odkazujte na prohledávatelná Edm.String pole pomocí analyzer vlastnosti nebo páru indexAnalyzersearchAnalyzer .

Definice analyzátoru zahrnuje název, typ, jeden nebo více filtrů znaků, maximálně jeden tokenizátor a jeden nebo více filtrů tokenů pro zpracování po tokenizaci. Před tokenizací se použijí filtry znaků. Filtry tokenů a filtry znaků se použijí zleva doprava.

• Názvy ve vlastním analyzátoru musí být jedinečné a nemůžou být stejné jako žádné integrované analyzátory, tokenizátory, filtry tokenů nebo filtry znaků. Názvy se skládají z písmen, číslic, mezer, pomlček nebo podtržítka. Názvy musí začínat a končit znaky prostého textu. Názvy musí mít délku pod 128 znaků.

• Typ musí být #Microsoft.Azure.Search.CustomAnalyzer.

• charFilters může být jeden nebo více filtrů z filtrů znaků zpracovaných před tokenizací v uvedeném pořadí. Některé filtry znaků mají možnosti, které je možné nastavit v oddílu charFilters . Filtry znaků jsou volitelné.

• tokenizer je přesně jeden tokenizátor. Hodnota je povinná. Pokud potřebujete více tokenizátorů, můžete ve schématu indexu vytvořit několik vlastních analyzátorů a přiřadit je podle polí.

• tokenFilters může být jeden nebo více filtrů z filtrů tokenů, které jsou zpracovány po tokenizaci ve zadaném pořadí. Pro filtry tokenů, které mají možnosti, přidejte tokenFilter oddíl pro určení konfigurace. Filtry tokenů jsou volitelné.

Analyzátory nesmí vytvářet tokeny delší než 300 znaků nebo indexování selže. Chcete-li oříznout dlouhý token nebo je vyloučit, použijte TruncateTokenFilter a LengthTokenFilter v uvedeném pořadí. Referenční informace najdete v tématu Filtry tokenů .

"analyzers":(optional)[
   {
      "name":"name of analyzer",
      "@odata.type":"#Microsoft.Azure.Search.CustomAnalyzer",
      "charFilters":[
         "char_filter_name_1",
         "char_filter_name_2"
      ],
      "tokenizer":"tokenizer_name",
      "tokenFilters":[
         "token_filter_name_1",
         "token_filter_name_2"
      ]
   },
   {
      "name":"name of analyzer",
      "@odata.type":"#analyzer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"charFilters":(optional)[
   {
      "name":"char_filter_name",
      "@odata.type":"#char_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenizers":(optional)[
   {
      "name":"tokenizer_name",
      "@odata.type":"#tokenizer_type",
      "option1":value1,
      "option2":value2,
      ...
   }
],
"tokenFilters":(optional)[
   {
      "name":"token_filter_name",
      "@odata.type":"#token_filter_type",
      "option1":value1,
      "option2":value2,
      ...
   }
]

V definici indexu můžete tento oddíl umístit kamkoli do textu žádosti o vytvoření indexu, ale obvykle se dostane na konec:

{
  "name": "name_of_index",
  "fields": [ ],
  "suggesters": [ ],
  "scoringProfiles": [ ],
  "defaultScoringProfile": (optional) "...",
  "corsOptions": (optional) { },
  "analyzers":(optional)[ ],
  "charFilters":(optional)[ ],
  "tokenizers":(optional)[ ],
  "tokenFilters":(optional)[ ]
}

Definice analyzátoru je součástí většího indexu. Definice pro filtry znaků, tokenizátory a filtry tokenů se přidají do indexu jenom v případě, že nastavujete vlastní možnosti. Pokud chcete použít existující filtr nebo tokenizátor tak, jak je, zadejte ho podle názvu v definici analyzátoru. Další informace najdete v tématu Vytvoření indexu (REST). Další příklady najdete v tématu Přidání analyzátorů ve službě Azure AI Vyhledávač.

Testování vlastních analyzátorů

Pomocí analyzátoru testů (REST) můžete zjistit, jak analyzátor rozdělí daný text na tokeny.

Požádat

  POST https://[search service name].search.windows.net/indexes/[index name]/analyze?api-version=[api-version]
    Content-Type: application/json
    api-key: [admin key]

  {
     "analyzer":"my_analyzer",
     "text": "Vis-à-vis means Opposite"
  }

odpověď

  {
    "tokens": [
      {
        "token": "vis_a_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "vis_à_vis",
        "startOffset": 0,
        "endOffset": 9,
        "position": 0
      },
      {
        "token": "means",
        "startOffset": 10,
        "endOffset": 15,
        "position": 1
      },
      {
        "token": "opposite",
        "startOffset": 16,
        "endOffset": 24,
        "position": 2
      }
    ]
  }

Aktualizace vlastních analyzátorů

Jakmile je definován analyzátor, tokenizátor, filtr tokenů nebo filtr znaků, nedá se upravit. Nové je možné přidat do existujícího indexu pouze v případě, že je příznak v požadavku na aktualizaci indexu allowIndexDowntime nastaven na true:

PUT https://[search service name].search.windows.net/indexes/[index name]?api-version=[api-version]&allowIndexDowntime=true

Tato operace přenese index nejméně několik sekund do offline režimu, což způsobí selhání indexování a požadavků na dotazy. Výkon a dostupnost zápisu indexu může být po dobu několika minut po aktualizaci indexu nebo delších pro velmi velké indexy poškozena, ale tyto účinky jsou dočasné a nakonec se samy vyřeší.

Integrované analyzátory

Pokud chcete použít integrovaný analyzátor s vlastními možnostmi, vytvoření vlastního analyzátoru je mechanismus, pomocí kterého tyto možnosti určíte. Pokud chcete použít integrovaný analyzátor tak, jak je, stačí jej jednoduše uvést podle názvu v definici pole.

¹ Typy analyzátorů jsou v kódu vždy předřazeny předponou #Microsoft.Azure.Search, aby PatternAnalyzer byly správně uvedeny jako #Microsoft.Azure.Search.PatternAnalyzer. Odebrali jsme předponu pro stručnost, ale předpona je v kódu povinná.

Analyzer_type je k dispozici pouze pro analyzátory, které je možné přizpůsobit. Pokud neexistují žádné možnosti, stejně jako u analyzátoru klíčových slov, neexistuje žádný přidružený typ #Microsoft.Azure.Search.

Filtry znaků

Filtry znaků přidávají zpracování před tím, než řetězec dosáhne tokenizátoru.

Azure AI Vyhledávač podporuje filtry znaků v následujícím seznamu. Další informace o každé z nich najdete v referenčních informacích k rozhraní Lucene API.

¹ Typy filtrů znaků jsou v kódu vždy s předponou #Microsoft.Azure.Search, takže MappingCharFilter budou ve skutečnosti určeny jako #Microsoft.Azure.Search.MappingCharFilter. Odebrali jsme předponu, abychom zmenšili šířku tabulky, ale nezapomeňte ji zahrnout do kódu. Všimněte si, že char_filter_type je k dispozici pouze pro filtry, které je možné přizpůsobit. Pokud neexistují žádné možnosti, stejně jako u html_strip, neexistuje žádný přidružený typ #Microsoft.Azure.Search.

Tokenizátory

Tokenizátor rozděluje souvislý text do posloupnosti tokenů, například dělí větu na slova nebo slovo na kořenové tvary.

Azure AI Vyhledávač podporuje tokenizátory v následujícím seznamu. Další informace o každé z nich najdete v referenčních informacích k rozhraní Lucene API.

¹ Typy tokenizátoru jsou vždy předponou v kódu, #Microsoft.Azure.Search takže ClassicTokenizer by byl skutečně zadán jako #Microsoft.Azure.Search.ClassicTokenizer. Odebrali jsme předponu, abychom zmenšili šířku tabulky, ale nezapomeňte ji zahrnout do kódu. Všimněte si, že tokenizer_type je k dispozici pouze pro tokenizátory, které je možné přizpůsobit. Pokud neexistují žádné možnosti, stejně jako u tokenizátoru písmen, neexistuje žádný přidružený typ #Microsoft.Azure.Search.

Filtry tokenů

Filtr tokenů slouží k vyfiltrování nebo úpravě tokenů vygenerovaných tokenizátorem. Můžete například zadat filtr malými písmeny, který převede všechny znaky na malá písmena. Ve vlastním analyzátoru můžete mít více filtrů tokenů. Filtry tokenů se spouštějí v pořadí, v jakém jsou uvedené.

V následující tabulce jsou filtry tokenů implementované pomocí Apache Lucene propojené s dokumentací k rozhraní Lucene API.

¹ Typy filtru tokenů jsou vždy předpony v kódu tak #Microsoft.Azure.Search , aby ArabicNormalizationTokenFilter byly skutečně zadány jako #Microsoft.Azure.Search.ArabicNormalizationTokenFilter. Odebrali jsme předponu, abychom zmenšili šířku tabulky, ale nezapomeňte ji zahrnout do kódu.

Viz také

• Rozhraní REST API služby Azure AI Vyhledávač
• Analyzátory ve službě Azure AI Vyhledávač (příklady)
• Vytvoření indexu (REST)