Surface-űrlap normalizálása

Bár a szavak és a nyelvi szabályok jelentősen eltérnek egymástól, van néhány szempont, például a számok, a dátumok és az időpontok, amelyeket minden szótörésben következetesen kezelnek. Ez a témakör azokat a normalizálási szempontokat ismerteti, amelyek hatással lehetnek a szóbontók implementálására.

Ez a témakör a következőképpen van rendszerezve:

• elválasztási
• birtokosok
• diakritikák
• Clitics

Elválasztás

Az összetett szó vagy név részei között kötőjeleket (-) használunk. A szótagok között akkor is használatosak, ha a szó egy szövegsor végén van elosztva. Angol nyelven a szavak kötőjelekkel vannak összekapcsolva, hogy a kontextusban különleges kapcsolatot jelezhessenek, de ezek a szavak általában nem kötőjelezhetők más kontextusokban; például "lépésről lépésre". Az index létrehozása során a szóválasztónak szóelválasztóként kell kezelnie a kötőjelet. Az "adatbázis" például "data" és "base" néven lesz tárolva. Lekérdezéskor az kötőjeles kifejezést két alternatívára kell cserélni: a kétszavas változatra és a valódi összetettre. Az "adatbázis" helyett például "data" és "base" (alap) és "adatbázis" lép. Ez a különbség az index és a lekérdezési idő között növeli a kötőjeles szavak ábrázolásának kombinációit, és megkönnyíti a szavak egyezését egy lekérdezésben.

Az alábbi táblázat bemutatja, hogy az kötőjelek angol nyelvű szóelválasztóként való kezelése hogyan növeli az indexben szereplő egyes kifejezésekhez tartozó egyező lekérdezési kifejezések számát.

Birtokosok

A birtokosok a főnév olyan változatai, amelyek birtoklásra utalnak. Az angol birtokosokat egy aposztróf (') vagy aposztróf és egy s ('s) szóhoz fűzésével jelölik. A birtoklás jelzéséhez például a "Mary" szó a "Mary's". A megszakító szó az aposztrófot és az aposztróf-űrlapot is létrehozza a lekérdezési időpontban. A "Mary" lekérdezéseinek meg kell egyeznie a "Mary" és a "Mary's" kifejezésekkel is.

Mellékjelek

A mellékjelek a betűhöz vagy a fonálhoz hozzáadott jelek, amelyek a kiejtés speciális fonetikai értékét jelzik. A diakritikák képesek megkülönböztetni az egyébként grafikusan azonos szavakat; például az "önéletrajz" és az "önéletrajz" angol nyelven. A mellékjelek indexbe való mentése azonban növeli az indexben lévő egyedi szókulcsok számát, ami lelassítja a lekérdezési teljesítményt. Ha az ékezeteket csak minimálisan használják egy nyelven, az adott nyelvhez tartozó szóválasztónak el kell távolítania őket az index létrehozása és a lekérdezés során. Az angol szóhatároló például "önéletrajzot" hoz létre az "ismétlés" feldolgozásakor, ami csak minimális hatással van a lekérdezés eredményeinek relevanciájára.

Clitics

A csikló egy instabil szó, amely képtelen önállóan állni, és egy stresszes szóhoz csatlakozik, hogy egyetlen egységet alkotjon. A csiklók nem besorolhatók könnyen fonológiai, szintaktikai vagy morfológiai osztályba. A clitics két típusból áll: proclitics és enclitics. A proclitikák egy szó elejéhez csatolják magukat. Az enclitikák egy szó végéhez csatolják magukat.

A csiklók nehezebben elemeznek olyan nyelveken, mint a spanyol. A spanyol igék a feszültségtől függően számos felületi formát hozhatnak létre. Figyelembe kell venni a clitic index létrehozásakor történő eltávolítása és a felületi űrlapok lekérdezési időpontban történő generálása között. A csiklók eltávolítása olyan esetekben, amikor a csiklóösszetétel morfológiája nem egyértelmű, kiszámíthatatlan eredményekhez vezethet. Ha nagy számú felületű űrlapot hoz létre egy szóhoz, az növeli a teljes szöveges index méretét, és lelassíthatja a lekérdezési teljesítményt. Javasoljuk, hogy a stemmer csak kis számú felületi formát hozzon létre.