Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Os recursos de linguagem consistem em separadores de palavras e lematizadores que estendem os recursos de criação e consulta de índice para novos idiomas e localidades. Os separadores de palavras são usados durante a criação de índice e a consulta. Os lematizadores são usados apenas para consulta. O Windows Search usa DLLs de recurso de linguagem para associar-se às implementações IWordBreaker e IStemmer para uma localidade de idioma específica.
Este tópico é organizado da seguinte maneira:
- Sobre recursos de linguagem
- Quebra de palavras
- Decorrentes
- Normalização
- Palavras de ruído
- tópicos relacionados
Sobre os recursos de linguagem
O Windows Search usa um filtro (uma implementação da interface IFilter ) e ILoadFilter para acessar um documento em seu formato nativo. O componente IFilter extrai conteúdo de texto, propriedades e formatação do documento. O IFilter identifica a localidade do documento que está filtrando. O componente de indexação invoca o separador de palavras apropriado para essa localidade. Se nenhum estiver disponível, o componente de indexação invocará o separador de palavras neutro. O separador de palavras recebe, de um IFilter, um fluxo de entrada de caracteres Unicode que o separador de palavras analisa para produzir palavras e frases individuais. O separador de palavras também normaliza os formatos de data e hora. O indexador normaliza as palavras produzidas pelo separador de palavras convertendo as palavras em todas as letras maiúsculas. O indexador salva as palavras maiúsculas no índice de texto completo, com exceção das palavras de ruído identificadas para essa localidade.
A tabela a seguir lista as ações e os resultados correspondentes da frase "A Figura 1 ilustra a função dos recursos de linguagem para o Windows Search durante o processo de criação do índice".
| Ação | Texto resultante |
|---|---|
| Texto original | A Figura 1 ilustra a função dos recursos de linguagem para o Windows Search durante o processo de criação do índice. |
| Filtragem | A Figura 1 ilustra a função dos recursos de linguagem para o Windows Search durante o processo de criação do índice. |
| Quebra de palavra | Figura 1 ilustra o papel dos recursos de idioma para a Pesquisa do Windows durante o processo de criação do índice EOS |
| Normalização | FIGURA 1 ILUSTRA A FUNÇÃO DE RECURSOS DE IDIOMA NA PESQUISA DO WINDOWS DURANTE O PROCESSO DE CRIAÇÃO DO ÍNDICE |
| Remoção de palavra de ruído | FIGURA, ILUSTRA, FUNÇÃO, IDIOMA, RECURSOS, WINDOWS, PESQUISA, DURANTE, ÍNDICE, CRIAÇÃO, PROCESSO |
| Salvar no índice de texto completo | FIGURA, ILUSTRA, FUNÇÃO, IDIOMA, RECURSOS, WINDOWS, PESQUISA, DURANTE, ÍNDICE, CRIAÇÃO, PROCESSO |
Separadores de palavras e lematizadores são usados para expandir consultas FREETEXT no momento da consulta. A localidade da consulta é a localidade padrão, a menos que um LCID (identificador de código de idioma) seja passado como um parâmetro de consulta. O componente de consulta invoca o separador de palavras apropriado nos termos de consulta listados na cláusula WHERE da consulta. Por exemplo, se a cláusula WHERE da consulta contiver "FREETEXT (maçãs, laranjas e peras)", o separador de palavras receberá o texto, "maçãs, laranjas e peras". Se a cláusula WHERE de consulta usar o predicado CONTAINS de texto completo, a saída de texto do separador de palavras será normalizada. Caso contrário, o componente de consulta passa cada palavra identificada pelo separador de palavras para o stemmer apropriado para esse idioma e localidade. O stemmer gera uma lista de formas alternativas ou inflexionadas gramaticalmente para essa palavra. O componente de consulta normaliza a lista expandida de termos de consulta e remove palavras de ruído.
A tabela a seguir lista as ações e os resultados correspondentes para a consulta "maçãs, laranjas e peras".
| Ação | Texto resultante |
|---|---|
| Texto original | maçãs, laranjas e peras |
| Quebra de palavra | maçãs, laranjas e peras, EOS |
| Lematização | maçã, maçãs, laranja, alaranjado, laranjas, e, pera, peras |
| Normalização | MAÇÃ, MAÇÃS, LARANJA, ALARANJADO, LARANJAS, E, PERA, PERAS |
| Remoção de palavras de ruído | MAÇÃ, MAÇÃS, LARANJA, ALARANJADO, LARANJAS, PERA, PERAS |
| Lista expandida de termos de consulta | MAÇÃ, MAÇÃS, LARANJA, ALARANJADO, LARANJAS, PERA, PERAS |
Os termos de consulta expandidos aumentam a probabilidade de que a consulta encontre documentos que correspondam à intenção da consulta original. O texto que o separador de palavras ou o lematizador gera no momento da consulta não é armazenado no disco.
Quebra de palavra
Quebra de palavra é a separação de texto em tokens de texto individuais ou palavras. Muitas línguas, especialmente aquelas com alfabetos romanos, têm um conjunto de separadores de palavras (como espaço) e pontuação que é usada para discernir palavras, frases e orações. Os separadores de palavras devem contar com heurística de linguagem precisa para fornecer resultados confiáveis e precisos. A quebra de palavras é mais complexa para sistemas de escrita baseados em caracteres ou alfabetos baseados em escrita, onde o significado de caracteres individuais é determinado a partir do contexto. Para obter mais informações sobre considerações linguísticas que podem afetar a implementação do separador de palavras, consulte Considerações linguísticas e Unicode.
Lematização
A Pesquisa do Windows aplica stemizadores exclusivamente no momento da consulta para gerar formas adicionais de palavras para os termos em FREETEXT e consultas de propriedade. Os stemizadores executam a análise morfológica e aplicam regras gramaticais para gerar uma lista de formas alternativas ou inflexionadas das palavras. Formulários alternativos geralmente têm a mesma forma de haste ou base. Ao gerar os formulários inflexionados para uma palavra, o Serviço de Indexação retorna resultados de consulta que são estatisticamente mais relevantes para uma consulta. Por exemplo, uma consulta de texto completo para "competição de natação" corresponde a documentos que contêm "nadar, nado, nada, nadando, nadou, nadado" ou "encontro, encontro, encontros, encontros, reunião, encontrou" e combinações desses termos.
Alguns idiomas exigem que os termos inflexionados sejam gerados tanto no momento da indexação quanto no momento da consulta, tanto para inflexões padrão quanto para variantes. Nesse caso, a interrupção ocorre no componente de separação de palavras, com o mínimo de trabalho de lematização no lematizador real. Por exemplo, o separador de palavras japonês executa a contenção durante a criação do índice e a consulta para permitir que uma consulta encontre diferentes formas inflexionadas dos termos de pesquisa.
Normalização
Documentos de todos os idiomas são armazenados em um único índice. Embora as palavras e as regras linguísticas diferem drasticamente, há algumas considerações, como números, datas e horas, que são tratadas consistentemente em todos os separadores de palavras. Para obter mais informações sobre considerações de normalização que podem afetar a implementação do separador de palavras, consulte Surface Form Normalization.
Palavras de ruído
Palavras de ruído, também conhecidas como palavras de parada, são palavras que não são indicadores importantes de conteúdo. O Serviço de Indexação remove palavras de ruído dos termos de consulta e do conteúdo incluído no índice de texto completo. Um offset é a ocorrência de uma palavra em um documento ou em uma lista de termos de consulta. O deslocamento de palavras de ruído em um documento ou consulta é registrado como em branco. A remoção de palavras irrelevantes melhora o desempenho em consultas, evitando o crescimento desnecessário do índice. Também melhora a relevância dos resultados da consulta. Você pode configurar a Pesquisa do Windows para usar listas de palavras de ruído para idiomas específicos. Essas listas são usadas quando um separador de palavras é invocado para esse idioma. Por exemplo, "o" no idioma inglês ocorre com tanta frequência que tem pouco valor como uma chave exclusiva. "O" está na lista de palavras de ruído, não é gravado no índice de conteúdo e, se consultado, não retorna resultados.
Termos de ruído atuam como espaços reservados em consultas de frases. Um documento que contém o texto "wag the dog" é armazenado no índice com "wag" na ocorrência 1 e "cão" na ocorrência 3. A consulta por frase "wag dog" não corresponde, mas a consulta por frase "wag a dog" corresponde, porque as informações de ocorrência coincidem. A frase "wag purple dog" não corresponde porque "roxo" não é encontrado no índice na ocorrência 2. No entanto, uma consulta para "wag the dog" retorna documentos que contêm "cão roxo wag" porque não há como determinar com eficiência se o documento tinha uma palavra sem ruído entre "wag" e "cão".
Tópicos relacionados