Configurar um cache de enriquecimento (versão prévia)

Note

Pesquisa de IA do Azure  está disponível por meio do portal Azure, APIs REST e SDKs do Azure. Ele também sustenta o IQ do Foundry, a camada de conhecimento gerenciado que transforma o conteúdo da empresa em bases de conhecimento reutilizáveis e com reconhecimento de permissão para agentes no portal do Microsoft Foundry.

Importante

Recursos, funcionalidades ou propriedades marcados como (versão prévia) não são cobertos por um contrato de nível de serviço (SLA), não são recomendados para cargas de trabalho de produção e podem mudar ou ser restringidos antes da disponibilidade geral. Os termos de visualização do Pesquisa de IA do Azure  se aplicam a toda funcionalidade em visualização, seja autônoma ou parte de um recurso de disponibilidade geral.

Este artigo explica como adicionar cache a um pipeline de conjunto de habilidades para que você possa modificar as etapas de enriquecimento downstream sem precisar recompilar tudo a cada vez. O cache de enriquecimento (versão prévia) requer uma API REST de visualização. Por padrão, um conjunto de habilidades é sem estado e alterar qualquer parte de sua composição requer uma nova execução completa do indexador. Com um cache de enriquecimento, o indexador determina quais partes da árvore de documentos devem ser atualizadas com base em alterações de definição de conjunto de habilidades ou indexador. O indexador preserva e reutiliza a saída processada existente sempre que possível.

Você coloca o conteúdo armazenado em cache no Armazenamento do Azure por meio de uma cadeia de conexão que você fornece. O indexador cria esses objetos quando é executado. Considere o cache de enriquecimento um componente interno gerenciado pelo serviço de pesquisa que você não deve modificar.

Importante

Um cache de enriquecimento não é um backup de saídas de conjunto de habilidades, estado do indexador ou documentos indexados. Ele não controla quais documentos completam o processamento. Para fontes de dados grandes, examine a seção Limitações antes de habilitar o cache.

  • Um contêiner chamado ms-az-search-indexercache-<alpha-numeric-string>
  • Tabelas nomeadas MsAzSearchIndexerCacheIndex<alpha-numeric-string>

Pré-requisitos

Você deve estar familiarizado com a configuração de indexadores e conjuntos de habilidades. Comece com a visão geral do indexador e continue em conjuntos de habilidades para saber mais sobre pipelines de enriquecimento.

Limitações

Cuidado

Se você estiver usando o indexador SharePoint (versão prévia), evite o enriquecimento incremental. Em determinadas circunstâncias, o cache se torna inválido. Para recarregá-lo, execute uma redefinição do indexador e uma recompilação completa.

Grandes fontes de dados têm uma limitação de cache adicional.

Cuidado

Para grandes fontes de dados, um cache de enriquecimento pode aumentar o reprocessamento total quando ocorrem habilidades de execução prolongada, interrupções repetidas ou falhas frequentes em habilidades. O indexador prioriza a corretude em vez de minimizar o reprocessamento, de modo que um acúmulo no cache causado por interrupções repetidas amplifica o comportamento de novas tentativas. Esse comportamento é esperado, não um bug.

Para se recuperar de um acúmulo crescente de cache, particione a fonte de dados em contêineres menores ou pastas virtuais. Em seguida, use indexadores paralelos apontando para o mesmo índice. Para desassociar o cache, defina a cache propriedade como nula no indexador. Consulte Indexar grandes conjuntos de dados para obter orientações sobre o padrão de particionamento.

Permissões

Uma identidade da Pesquisa de IA do Azure precisa de acesso de gravação ao Armazenamento do Azure:

  • Colaborador de Dados de Blob de Armazenamento
  • Colaborador de tabela de dados de armazenamento

A sintaxe cadeia de conexão determina se uma identidade atribuída pelo sistema ou atribuída pelo usuário é usada. Para obter mais informações, consulte Conectar para Armazenamento do Azure usando uma identidade gerenciada.

Definir a propriedade de cache

Use este procedimento para indexadores novos e existentes.

Na definição do indexador, defina cache com:

  • (Obrigatório) storageConnectionString definido como uma cadeia de conexão do Armazenamento do Azure.
  • (Opcional) enableReprocessing (true por padrão). Defina-o para false suspender temporariamente o enriquecimento incremental e alterne-o de volta para true mais tarde.

  1. À esquerda, selecione Indexadores.

  2. Selecione Adicionar indexador para criar um novo indexador ou abra um existente no modo de edição JSON.

  3. Habilite o enriquecimento incremental, defina a conta de armazenamento do cache de enriquecimento e salve o indexador.

    Captura de tela da opção do portal do Azure para cache de enriquecimento.

  4. Redefina o indexador se ele já existir.

  5. Execute o indexador. Esta única recriação completa semeia o cache. Depois de carregado, a reutilização incremental se aplica em execuções subsequentes.

  • Última atualização em