Criar um modelo de classificação personalizada usando o aplicativo de Ajuste do Modelo de Classificação

APLICA-SE A:yes-img-132013 yes-img-162016 yes-img-192019 yes-img-seSubscription Edition no-img-sopSharePoint no Microsoft 365

Se os modelos de classificação padrão não atenderem aos requisitos de relevância que você tem, você poderá criar um modelo de classificação personalizado para a experiência de pesquisa clássica. Com o aplicativo Ranking Model Tuning O aplicativo fornece uma interface do usuário para copiar um modelo de classificação existente, julgar os resultados de um conjunto de consultas, adicionar ou remover recursos de classificação e ajustar o peso desses recursos. Por fim, você pode avaliar as alterações e publicar o novo modelo de classificação quando estiver satisfeito com os resultados.

Por que criar um modelo de classificação personalizado?

Na maioria dos casos, os modelos de classificação no SharePoint Server fornecem uma boa classificação de resultados de pesquisa e você também pode influenciar a classificação dos resultados da pesquisa com regras de consulta. No entanto, se você tiver uma necessidade de relevância específica para resultados de pesquisa que os modelos de classificação padrão não fornecem, poderá criar um modelo de classificação personalizado.

Aqui estão alguns casos de uso comuns:

  • Você adicionou uma propriedade gerenciada específica que acredita que deve influenciar a classificação dos itens em seu site.

Exemplo: uma loja de alimentos adicionou uma nova propriedade gerenciada "sem glúten" e deseja incluir essa propriedade gerenciada nos cálculos de classificação dos resultados da pesquisa.

  • Você deseja dar a uma ou mais das propriedades gerenciadas em um modelo de classificação padrão mais peso de classificação do que o obtido por padrão.

Exemplo: uma empresa de contabilidade deseja que as pastas de trabalho do Excel (tipo de arquivo) tenham um peso de classificação maior do que o que elas obtêm ao usar o modelo de classificação padrão.

Importante

Criar um modelo de classificação personalizado é bastante complexo e você não deve levar isso de ânimo leve. Para obter um bom resultado, espere investir tempo em tarefas como julgar um número considerável de consultas.

Saiba mais sobre classificação e modelos de classificação:

Obter o aplicativo para SharePoint Server

Importante

Para o SharePoint Server 2013, recomendamos que você tenha instalado a atualização cumulativa do SharePoint Server 2013 de março de 2014.

  • Instale o aplicativo e prepare o farm do SharePoint para permitir aplicativos usando os mesmos processos padrão de todos os aplicativos do SharePoint Server: Instalar e gerenciar aplicativos para o SharePoint.

  • Para usar o aplicativo, você deve ser um administrador de aplicativo do serviço Pesquisa.

Criar um modelo de classificação personalizado – etapas principais

  • Clique no ícone do aplicativo Aplicativo de Ajuste do Modelo de Classificação para ir para a página inicial do aplicativo.

Siga estas etapas principais para criar um modelo de classificação personalizado. Espere ir e voltar entre as diferentes etapas ao ajustar seu modelo.

  1. Etapa 1: copiar um modelo de classificação existente e dar um nome a ele

  2. Etapa 2: adicionar um conjunto de julgamento

  3. Etapa 3: julgar os resultados das consultas no conjunto

  4. Etapa 4: adicionar recursos de classificação e ajustar o peso

  5. Etapa 5: avaliar as alterações

  6. Etapa 6: Publicar o modelo de classificação

Etapa 1: copiar um modelo de classificação existente e dar um nome a ele

Ao iniciar o aplicativo, você verá uma lista de todos os modelos de classificação disponíveis. No primeiro uso, esse será o conjunto de modelos de classificação padrão fornecidos com o SharePoint. Esses modelos de classificação são marcados com Modelo base, e a única ação permitida é copiar . Para criar um modelo de classificação personalizado, copie um modelo existente e, em seguida, modifique a cópia. Todos os modelos criados usando o aplicativo são marcados com um modelo não base e você também pode editar, publicar ou excluir.

A maioria dos modelos de classificação padrão fornecidos com o SharePoint tem um estágio linear e um estágio neural. Com este aplicativo, você só pode personalizar o estágio linear de um modelo de classificação, pois um estágio linear é mais fácil de ajustar e personalizar.

Recomendamos que você use o Modelo de Classificação de Pesquisa com Dois Estágios Lineares como base para seu modelo de classificação personalizado, então será mais fácil ajustar e personalizar novamente seu modelo de classificação.

  1. Na lista de modelos de classificação existentes, selecione o modelo que deseja copiar.

  2. Clique na seta à direita e selecione Copiar.

  3. Na página Editar modelo de classificação , digite um nome para seu novo modelo de classificação.

  4. Selecione a fonte de resultados na qual você deseja testar as consultas.

Etapa 2: adicionar um conjunto de julgamento

Você pode adicionar um ou mais conjuntos de julgamentos ao seu modelo de classificação. Um conjunto de julgamentos normalmente consiste em consultas que são populares, consultas importantes para os negócios ou consultas que o modelo de classificação atual não lida suficientemente bem. Na página Editar modelo de classificação , em Consultas de juiz, escolha Adicionar conjunto de julgamento.

  1. Na página Editar conjunto de julgamento , escolha uma ou mais destas opções:
Opção Descrição
Importar consultas julgadas
Se você já tiver um conjunto de consultas e rótulos para documentos retornados para as consultas, poderá importá-los. Escolha o arquivo a ser carregado e clique em Importar consultas.
O arquivo de importação deve ser do tipo XML com o seguinte esquema:
<QuerySet Name="testRM - JudgementSet"><Query QueryString="query1" ><Judgements><Document Url="docUrl1" Label="Excellent" /><Document Url="docUrl2" Label="Good" /><Document Url="docUrl3" Label="Fair" /><Document Url="docUrl4" Label="Bad" /></Judgements></Query></QuerySet>Você pode usar quatro rótulos para indicar o quão desejável é um resultado para uma consulta: Excelente, Bom, Razoável e Ruim.
Adicionar consultas de amostra
Se a pesquisa estiver ativa no site, você poderá fazer com que o aplicativo selecione um conjunto aleatório de consultas dos logs de consulta existentes. O aplicativo escolherá as consultas mais populares.
Especifique o número de consultas a serem amostradas na caixa e clique em Adicionar consultas.
Adicionar consultas manualmente
Digite consultas diretamente no aplicativo, uma consulta por linha e clique em Adicionar consultas.
Você pode adicionar todas as consultas dessa maneira ou adicionar manualmente mais consultas a um conjunto de consultas existente.
  1. Se você importou consultas julgadas com rótulos, clique em Concluído para salvar o conjunto de julgamentos. Se você adicionou consultas do log de consultas ou manualmente, pode começar a julgar as consultas, consulte a etapa 3.

Para garantir que as métricas de relevância sejam indicadores confiáveis de quão bom é o modelo de classificação para um site específico, verifique se:

  • Há consultas suficientes no conjunto de julgamentos. Quanto mais consultas e quanto mais documentos julgados entre os 10 principais para essas consultas, melhor.

  • Há uma combinação representativa do intervalo de consultas que você espera ter.

Etapa 3: julgar os resultados das consultas no conjunto

Agora, analise todas as consultas e avalie os resultados de cada uma. Determine o quão relevante ou desejável é um documento específico no índice como resultado de pesquisa para uma consulta específica. Quanto mais relevante ou desejável você acha que um documento é, mais alto ele deve ser na lista classificada.

Observação

Se você importou consultas já julgadas na etapa anterior, os resultados já terão uma classificação e você poderá ignorar esta etapa.

  1. Na página Editar conjunto de julgamentos , para cada consulta, clique no texto da consulta e escolha Resultados do juiz.

  2. Na página Avaliar consulta , você vê dois conjuntos de resultados lado a lado: Resultados com modelo base e Resultados com o modelo atual. Antes de fazer qualquer alteração em seu novo modelo de classificação, os dois conjuntos de resultados serão os mesmos.

  • Para cada resultado, avalie o resultado e dê uma classificação (rótulo) escolhendo o número de estrelas, de uma a cinco. A opção de uma estrela, "Link quebrado", pode ser usada para documentos que você não pode acessar.

    Depois de fazer a primeira rodada de alterações no modelo de classificação, você pode comparar dois conjuntos de resultados lado a lado nesta exibição. Compare o modelo de classificação atual com o modelo base ou com a última versão salva do novo modelo. Dessa forma, você pode avaliar o efeito das diferentes personalizações feitas.

  1. Depois de classificar os resultados de uma consulta, clique em Próxima consulta para continuar com o conjunto de julgamentos.

  2. Clique em Concluído para salvar o conjunto.

Depois de examinar e avaliar as consultas no conjunto de julgamento, você verá a cobertura de julgamento para esse conjunto. Depois de fazer alterações no modelo, você poderá ver quanta relevância melhorou com o novo modelo de classificação para os diferentes conjuntos de julgamentos.

Esta coluna Mostra as seguintes informações
Texto da consulta
As consultas no conjunto de julgamentos.
Cobertura do julgamento
A porcentagem de URLs de documento nas dez principais atuais que foram classificadas.
OBSERVAÇÃO: As métricas de relevância só são confiáveis quando a cobertura do julgamento é alta. Para aumentar a cobertura, julgue mais dos resultados da consulta.
Relevância versus classificação básica
Depois de fazer alterações no modelo de classificação, essa figura mostra o quanto a relevância melhorou para a consulta com o novo modelo de classificação em comparação com o modelo base. Se a pontuação for 0,00%, não haverá diferença entre os dois modelos para essa consulta. Se a pontuação for negativa, a relevância diminuiu.
Vs. modelo salvo
O aplicativo mantém uma versão de rascunho do modelo de classificação enquanto você trabalha nele. Você pode comparar a versão de rascunho atual com a última versão salva do novo modelo de classificação.
Esta figura mostra o quanto a relevância melhorou ou diminuiu com o rascunho atual do modelo em comparação com a última versão salva.

A métrica de relevância usada no aplicativo é "Ganho Cumulativo Descontado" calculado para os cinco principais resultados.

Etapa 4: adicionar recursos de classificação e ajustar o peso

Quando você copia um modelo de classificação existente, o novo modelo de classificação contém os mesmos recursos de classificação e pesos do modelo base. Você pode adicionar mais propriedades gerenciadas como recursos de classificação adicionais, remover recursos existentes ou ajustar o peso dos recursos existentes.

Observação

Você só pode escolher propriedades gerenciadas que já foram criadas e configuradas. O gerenciamento de propriedades gerenciadas, como criar novas ou defini-las para serem pesquisáveis ou classificáveis, está fora do escopo deste aplicativo.

Etapa 4a: Adicionar recursos de classificação

  1. Na página Editar modelo de classificação , em Adicionar e ajustar recursos, clique em Adicionar recursos para personalizar.

  2. Na página Adicionar um recurso de classificação para personalizar , escolha entre estes tipos de recursos de classificação:

Tipo de recurso de classificação Descrição
Recurso sugerido com base em consultas julgadas
O aplicativo pode sugerir recursos a serem adicionados quando os vetores de recursos forem extraídos para um número suficiente de documentos julgados. As sugestões serão recursos de classificação que têm uma forte correlação (negativa ou positiva) com os itens de relevância fornecidos pelo ajuste automatizado. Essa opção só estará disponível depois que você tiver executado o ajuste automatizado nesse modelo de classificação pelo menos uma vez. Veja mais sobre o ajuste automatizado mais adiante neste artigo.
Propriedade gerenciada de texto pesquisável
Escolha uma propriedade gerenciada a ser usada nos cálculos de classificação dos resultados da pesquisa.
Se você selecionar que a proximidade dos termos de consulta no valor da propriedade é importante, poderá inserir posteriormente um peso de proximidade para o recurso. O aplicativo usa as variantes isExact=1 e isDiscounted=1.
Propriedade gerenciada numérica classificável
Também chamado de recurso de classificação estática.
A propriedade gerenciada deve ser do tipo Integer. O aplicativo usa a transformação do Rational.
Escolha uma propriedade gerenciada e insira um valor padrão para a propriedade. O valor padrão será usado se um item não tiver um valor definido explicitamente.
Propriedade classificável com um valor específico
Também chamado de recurso de classificação estática em bucket. Escolha uma propriedade gerenciada e insira o valor padrão para a propriedade.
Com valor: esse número é o bucket específico que está sendo ajustado.
Recurso de classificação do modelo básico
Use esta opção para ajustar o peso dos recursos existentes. Escolha entre os recursos de classificação existentes.
  1. Clique em Adicionar recurso. Repita as etapas para adicionar mais recursos para personalizar. Os recursos de classificação selecionados são mostrados na página Editar modelo de classificação .

Você também pode remover recursos do modelo.

Leia mais sobre os recursos de classificação e a agregação de recursos de classificação em Personalizando modelos de classificação para melhorar a relevância no SharePoint.

Etapa 4b: Ajuste os pesos

Inicialmente, os novos recursos têm peso zero, exceto os recursos de classificação existentes do modelo básico. Para dar aos recursos de classificação um peso diferente, você pode usar o ajuste automatizado ou o ajuste manual.

Ajuste automatizado:

Com o ajuste automatizado, os julgamentos fornecidos para seu conjunto de julgamentos são usados para definir automaticamente o peso dos recursos de uma maneira que tenta maximizar a relevância. A opção de ajuste automático está disponível quando você tem pelo menos 10 consultas com pelo menos 10 julgamentos cada. Quanto mais julgamentos você tiver, mais confiável será o ajuste automático.

  • Na guia Ajuste automatizado , clique no botão Autotune pesos .

    Observação

    A opção de ajuste automático inclui uma quantidade considerável de computação e pode levar cerca de 5 minutos para um conjunto de julgamento de 10 consultas.

Ajuste manual:

Com o ajuste manual, você pode definir ou alterar os pesos dos recursos de classificação individuais. Evite valores muito grandes (negativos ou positivos).

  1. Na guia Ajuste manual , defina ou altere a espessura de um recurso inserindo ou alterando um valor na caixa Peso .

  2. Clique em Salvar pesos para executar a avaliação em todos os conjuntos de julgamentos associados a esse modelo.

  3. Avalie as alterações, consulte a etapa 5.

Etapa 5: avaliar as alterações

O aplicativo permite avaliar como um modelo de classificação personalizado altera a relevância. Isso é especialmente útil para consultas que você considera importantes.

Importante

Quando você cria um modelo de classificação personalizado, isso influencia todas as consultas que usam esse modelo de classificação. Teste o efeito do modelo de classificação personalizado em muitas consultas.

  • Digite consultas na caixa de consulta de exemplo abaixo da lista Ajuste manual para ver os resultados de uma consulta específica. Você pode comparar os resultados com o modelo base ou o último modelo salvo à esquerda e os resultados com o modelo atual à direita. Você também pode adicionar consultas a um conjunto de julgamentos desta página, se desejar.

  • Você também pode avaliar o efeito de uma configuração específica executando uma avaliação em um conjunto de julgamento. Na lista de conjuntos de julgamentos em Consultas de juízes, clique na seta à direita do conjunto e escolha Avaliar relevância no menu.

Observação

Alterar o peso de um recurso de classificação afetará a ordem dos resultados, esperançosamente para fornecer maior relevância. Como resultado da nova ordenação, novos documentos que ainda não foram julgados podem entrar nos 10 primeiros resultados de uma consulta. Se isso acontecer, o valor da cobertura do julgamento diminuirá para um conjunto de julgamentos e você poderá ter que fornecer julgamentos adicionais.

  • Quando terminar de adicionar, remover e ajustar recursos, salve as alterações. O novo modelo de classificação personalizado é mostrado na lista de modelos de classificação disponíveis com os quais você começou. Ele está marcado como Não modelo base.

Etapa 6: Publicar o modelo de classificação

O novo modelo de classificação está disponível por padrão para o site em que você adicionou o aplicativo. Se você quiser usar seu modelo de classificação personalizado de forma mais ampla, deverá publicá-lo.

  1. Na lista Selecionar modelo de classificação , clique na seta à direita e escolha Publicar no menu.

  2. Escolha uma destas opções:

  • Site atual (disponível por padrão)

  • Conjunto de sites atual

  • Todos os conjuntos de sites (todo o Aplicativo de Serviço de Pesquisa)

  1. Clique em Publicar.

Ao publicar seu modelo de classificação, você receberá um GUID que identifica o modelo de classificação. Você pode usar o GUID na pesquisa, por exemplo, ao configurar a Web Part Resultados da Pesquisa ou para definir programaticamente a propriedade RankingModelId de uma consulta.

Mais informações sobre classificação e modelos de classificação