Surface form normalleştirmesi

Sözcükler ve dil kuralları önemli ölçüde farklılık gösterse de sayı, tarih ve saat gibi tüm sözcük ayırıcılarda tutarlı bir şekilde ele alınan bazı önemli noktalar vardır. Bu konu başlığında, sözcük ayırıcı uygulamanızı etkileyebilecek normalleştirme konuları belgelenir.

Bu konu aşağıdaki gibi düzenlenmiştir:

• Heceleme
• Sahiplik
• aksan
• Clitics

Tireleme

Kısa çizgiler (-) bileşik sözcük veya adın bölümleri arasında kullanılır. Ayrıca, sözcük bir metin satırının sonunda bölündüğünde sözcüğün heceleri arasında da kullanılır. İngilizcede, sözcükler bağlam içinde özel bir ilişkiyi göstermek için kısa çizgilerle birleştirilir, ancak bu sözcükler normalde diğer bağlamlarda hecelenmeyebilir; örneğin, "adım adım". Dizin oluşturma sırasında, sözcük ayırıcısı kısa çizgiye sözcük ayırıcısı olarak davranmalıdır. Örneğin, "veri tabanı" "veri" artı "temel" olarak depolanır. Sorgu zamanında, kısa çizgili tümcecik iki alternatifle değiştirilmelidir: iki sözcüklü değişken ve gerçek bileşik. Örneğin, "veri tabanı" yerine "veri" artı "temel" ve "veritabanı" kullanılır. Dizin ve sorgu süresi arasındaki bu fark, kısa çizgili sözcükler için gösterim birleşimlerini artırır ve sözcüklerin sorguda eşleşmesini kolaylaştırır.

Aşağıdaki tabloda, kısa çizgilerin İngilizce dilinde sözcük ayırıcısı olarak ele alındığı, dizine dahil edilen her terim için eşleşen sorgu terimlerinin sayısını nasıl artırdığı gösterilmektedir.

İyelik

Sahiplik, bir isimdeki varlığı gösteren çeşitlemelerdir. İngilizce sahiplik, bir sözcüye kesme işareti (') veya kesme işareti ve bir sözcük (ler) eklenerek temsil edilir. Örneğin, bulundurmayı belirtmek için "Mary" sözcüğü "Mary'nin" olarak temsil edilir. Sözcük ayırıcı, sorgu zamanında hem kesme hem de kesme işareti formlarını oluşturur. "Mary" sorguları hem "Mary" hem de "Mary"ninkiyle eşleşmelidir.

Aksan

Aksan işaretleri, telaffuz için özel bir fonetik değeri belirtmek üzere bir harfe veya foneme eklenen işaretlerdir. Aksan işaretleri, aksi takdirde grafik olarak aynı olan sözcükleri ayırt edebilir; örneğin, İngilizce "resume" ve "résumé" gibi. Ancak aksanların dizine kaydedilmesi, dizindeki benzersiz sözcük anahtarlarının sayısını artırarak sorgu performansını yavaşlatır. Aksan işaretleri bir dilde yalnızca en az düzeyde kullanılıyorsa, bu dilin sözcük ayırıcısı bunları hem dizin oluşturma hem de sorgulama sırasında kaldırmalıdır. Örneğin, İngilizce sözcük ayırıcı "özgeçmiş" oluştururken "özgeçmiş" oluşturur ve bu da sorgu sonuçlarının ilgisi üzerinde yalnızca en az etkiye neden olur.

Clitics

Klitik, tek başına ayakta duramayan ve tek bir ünite oluşturmak için stresli bir sözcük ekleyen, soyulmamış bir kelimedir. Klitikler kolayca fonolojik, sessel veya morfolojik olarak sınıflandırılamaz. Clitics iki tür olarak gelir: proklitik ve enklitik. Proklitikler kendilerini bir sözcüğün başına ekler. Enklitikler kendilerini bir sözcüğün sonuna ekler.

clitics'in İspanyolca gibi dillerde ayrıştırılması daha zordur. İspanyol fiilleri, gerginlik durumuna bağlı olarak birçok yüzey biçimi oluşturabilir. Dizin oluşturma sırasında klitiğin kaldırılması ile sorgu zamanında kök oluşturma yoluyla yüzey formlarının oluşturulması arasında dikkat edilmesi gereken noktalar vardır. Klitik bileşimin morfolojisinin belirsiz olduğu durumlarda klitiklerin kaldırılması öngörülemeyen sonuçlara yol açabilir. Bir sözcük için çok sayıda yüzey formu oluşturmak, tam metin dizininin boyutunu artırır ve sorgu performansını yavaşlatabilir. Kök ayırıcının yalnızca az sayıda yüzey formu oluşturması önerilir.